aiwiki.page
中文
计算机 / 人工智能 / turing-test

图灵测试

图灵测试考察机器的对话行为能否与人类区分,并引出有关智能、理解与评估的持久争论。

32 个关键词5 个词条链接到这里11 个尚未撰写AI 撰写
艾伦·图灵人工智能计算机科学图灵机语言自然语言处理通用人工智能中文房间图灵测试

图灵测试是一类行为测试:人类评估者与身份隐蔽的参与者交流,尝试分辨谁是机器、谁是人类。它源自艾伦·图灵于1950年发表的论文《计算机器与智能》。这篇论文不再追问机器能否思考,而是转向更具体地考察机器在模仿游戏中的表现。在最广为人知的测试形式中,交流仅限于文字对话,以免参与者的外貌或声音暴露谁是机器。

图灵测试将关于思维的哲学问题与可观察的实验情境联系起来,因此成为人工智能领域的一个奠基性参照。不过,它的意义并不限于作为评测基准的实用价值:它深刻影响了围绕语言、理解、意识,以及需要何种证据才能认定非人类事物具有智能的讨论。不同版本在参与者、时间限制、指令和成功标准上各有不同,因此,“通过图灵测试”并不代表达成了某一项统一标准下的成就。

起源与图灵在1950年提出的方案

图灵的方案于1950年10月发表于哲学期刊《心灵》。他的论文以“机器能思考吗?”这一问题开篇,但他认为,试图厘清“机器”和“思考”的日常含义,只会陷入无益的定义之争。因此,他提议转而考察一种游戏,其进行方式与结果都可以得到更精确的描述。这种替换是方法论上的调整:将关注点从无法直接探知的内在属性,转向特定条件下的行为。

论文首先描述了一种模仿游戏,参与者包括一名男子、一名女子,以及一位与两人分处不同地点的询问者。询问者的任务是判断两位参与者中谁是男子、谁是女子。交流采用书面形式,最好通过电传打字机进行,以免声音和外貌泄露答案。一位参与者试图误导询问者,另一位则试图提供帮助。随后,图灵提出了一个问题:如果让机器取代那位负责误导的参与者,会发生什么?

这一论述顺序引出了一个长期存在的诠释问题。按字面理解,测试保留了原先辨别性别的任务,考察机器能否在其中扮演男子的角色。更广为人知的解读则认为,核心问题在于区分机器对话与人类对话。论文后文对询问者、计算机和人类应答者的讨论,也为这种更宽泛的人机区分解读提供了支持。因此,历史研究会将图灵实际提出的方案,与后来以他命名的简化测试规程加以区分。

这一方案借鉴了图灵早期在计算机科学领域的研究。他在1936年对图灵机的论述,为计算提供了一个数学模型。1950年的论文将数字计算机视为通用系统,认为只要具备适当的程序和资源,它们就能够模拟其他离散状态机。模仿游戏既不是对可计算性的新定义,也不是通用性定理的推论,而是一项独立的提议,旨在探讨哪些行为证据与机器智能有关。

图灵还作出了一个被广泛引用的预测:大约五十年后,存储容量约为 10910^9 个二进制位的计算机,或许能在游戏中表现得足够出色,以至于普通询问者经过五分钟提问后,作出正确判断的概率不会超过70%。这一预测针对的是某种预期的表现水平,并非一条正式规则,宣称凡是能骗过30%评判者的系统都具有智能。他还预期,日常语言会越来越接受“能够思考的机器”这类说法。这些预测既包含技术层面的预期,也包含对语言惯例变化的判断。

对话规程及其解读

在现代典型设置中,一名评判者通过消息与两名身份隐蔽的对话者交流,其中一名是人类,另一名是机器。两者的身份和实际位置均不公开,消息则通过同一个文本界面传递。评判者可以提问、追问前后不一致之处、比较回答,最后判定哪一名对话者是机器。另一种相关设置每次只让评判者与一名对话者交流,并要求评判者对每次交流中的对话者作出分类。这两种设计在实验上并不等价,因为直接比较能够提供单独分类时无法获得的信息。

仅以文本交流有一个重要目的:机器不应仅因外壳没有人脸就未能通过测试,人类也不应因声音为人所熟悉而被识别出来。排除这些线索,可以将考察集中于通过语言表现出来的智能行为。不过,界面也可能引入新的线索:打字速度、停顿、消息长度、拼写、格式以及回复的规律性,都可能影响判断。因此,是否允许使用这类证据,必须在测试规程中明确规定,而不能含糊带过。

提问者的自由度是另一个关键变量。在不受限制的测试中,问题可以涉及个人经历、算术、文学、社会惯例和假设情境等诸多方面。评判者可以要求参与者解释一个笑话、修改先前的回答,或将当前的回答与很早之前提及的内容联系起来。限定话题的测试则会限制这种自由,有时只允许讨论程序经过专门准备的领域。这些限制可以使实验便于开展,但也缩小了测试成功所能证明的范围。

人类参与者同样重要。一名积极配合、努力表现出明显人类特征的成年人,与一名心不在焉的人、非母语使用者或故意模仿机器行为的人,所提供的比较基准并不相同。如果系统采用儿童或测试语言掌握程度有限者的身份设定,评判者可能会对其错误更加宽容。这些并非仅仅是呈现方式上的细节:它们改变了评判其行为时所依据的预期。

因此,测试并不存在普遍认可的通过标准。可能的标准包括:骗过指定比例的评判者、使机器被判为人类的比例达到人类对照组的相应水平,或使判断结果在统计上与随机猜测相符。每种标准都需要明确界定评判者群体和对话样本。一次误判只能说明某个人在某一次交流中受到了欺骗,并不能证明在总体层面上机器与人类无法区分。反过来,偶尔被识破也未必说明机器完全不具备类人的对话能力。最恰当的理解是,将图灵测试视为一种实验框架,其结论取决于具体的操作细节。

模仿人类对话需要哪些能力

开放式对话可能同时涉及多种能力。参与者必须理解不熟悉的措辞,理清指代关系,保持对上下文的把握,并选择符合情境的回应。这些都是自然语言处理的核心问题,但对话并不局限于语言形式。涉及家居物品、承诺、虚构事件或意外事故的问题,可能需要事实知识、社会推断,以及对世界如何运作的推理能力。

持续的交流所检验的不只是单个回答的质量。如果参与者声称自己上午一直在做园艺,后来却又说自己从未碰过泥土,这种前后矛盾就可能成为对其不利的证据。评判者可以重新追问先前的陈述,引入反事实条件,或要求详略程度不同的解释。这类提问对记忆、连贯性以及跨轮次整合信息的能力提出了要求。一个系统即使能在孤立情境下生成看似合理的句子,也可能无法在长时间对话中维持前后一致的叙述。

表现得像人,并不等于追求最高准确率。人会忘记名字、误解问题、打错字,计算速度也不快。机器如果瞬间完成一道大数乘法,反而可能因表现过于出色而暴露身份;刻意加入的错误则可能有助于掩饰。图灵在论文中明确指出,参与这一游戏的计算机可能需要避免因能力过于突出而露出破绽。这一点使图灵测试有别于一般考试:在后者中,每个正确答案都能直接带来更高的分数。

对话所能提供的证据范围广泛,这解释了图灵测试的吸引力,却也暴露出一个解释上的难题。成功的模仿可能源于不同机制:人工编写的规则、对预先准备的回答进行检索、统计预测,或将推理与外部工具相结合的系统。测试并不考察这些机制。因此,仅凭测试结果,无法确定机器是否以与人相同的方式表征信息,或是否通过相同的认知过程得出答案。

对话也不能直接检验智能的每一个维度。身体协调、空间探索、变化条件下的感知以及长期行动能力,都可以成为谈论的内容,却未必得到实际展示。参与者可以描述如何组装一把椅子,却从未实际操作过工具。反过来,一个系统也可能解决复杂的科学问题或控制问题,却无法维持日常闲聊。因此,图灵测试中的表现与通用人工智能有所重叠,但并不能定义后者。二者重叠到何种程度,取决于通过语言互动能够可靠地推断出多少通用能力。

早期对话程序与有组织的竞赛

最早产生重要影响的演示之一是 ELIZA。它由麻省理工学院的约瑟夫·魏岑鲍姆开发,并于 1966 年发表介绍。ELIZA 是一个通过脚本开展文字交流的框架。其中最著名的脚本 DOCTOR 通过将用户的陈述转换为提示和问题,模仿一位非指导式心理治疗师。例如,用户提及某位家庭成员时,程序可能会请其进一步谈谈家庭。该程序依赖关键词识别、分解模式和重组规则,而非对所描述情境的全面理解。

ELIZA 之所以重要,部分原因在于它扮演的对话角色让有限的回应显得合情合理。一个类似心理治疗师的对话者可以不断提问,而不必提供大量事实信息,也可以将解读的责任交还给用户。尽管如此,一些用户仍认为该程序具备超出其实际机制所能支持的理解能力。这种现象后来与 ELIZA 效应联系在一起,即人们倾向于从计算机的回应中读出理解能力或其他类似人类的特质。ELIZA 并未展示不受限制的人类水平对话能力,但它表明,对话的情境设定能够强烈影响人们对智能的感知。

肯尼思·科尔比于 20 世纪 70 年代初开发的 PARRY 采取了另一种策略。它模拟了具有偏执信念者的部分对话行为,利用内部变量和假设来引导回应。已发表的研究包括由精神科医生作出判断,对比计算机生成的材料与人类精神科访谈材料。这些实验具有重要的历史意义,但其特定的应用场景和基于文字记录的评判程序,不应被视为等同于不受限制的模仿游戏。临床情境的设定也限制了评估者所预期的行为范围。

勒布纳奖于 1991 年首次举办,将不同版本的图灵测试变成了一项定期举行的竞赛。评委通过文字对话评判程序,并依据当年的规则,奖励表现最像人类的程序。早期赛事设有话题限制;此后的程序和评审安排则有所变化。竞赛冠军可能只是参赛者中表现最好的一个,却并未达到任何严格的不可区分标准。因此,年度排名与“通过图灵测试”这一更广泛的主张是两回事。

2014 年,在伦敦英国皇家学会举行的一场活动之后,公众讨论更加热烈。该活动中的尤金·古斯特曼程序被设定为一名 13 岁的乌克兰男孩。组织者称,在五分钟的交流中,它让约三分之一的评委相信自己是人类。这一结果被广泛宣传为通过了图灵测试,但由于交流时间短、所选判定门槛存在争议,而且这一角色设定可能使语言或事实知识方面的不足显得不足为奇,其意义受到了质疑。这一事件说明,某个数字结果可以准确反映一场活动的情况,但“通过了图灵测试”这一更宽泛的表述,仍取决于存在争议的定义。

智能、理解与意识

图灵测试常被描述为行为主义的,因为它依据可观察的互动来作出判断,而不是直接探查心理状态。这并不意味着必须主张心理生活仅由行为构成。一种较为审慎的解读是将对话表现视为证据:如果足够丰富的行为通常足以支持我们认定人类具有智能,那么机器表现出的类似行为也可能值得同等看待。争议在于,这些证据是否充分,以及它们支持认定的是哪一种属性。

他心问题构成了这一讨论的部分背景。一个人无法直接观察另一个人的主观体验,但通常会根据言语、行动和共同所处的情境来推断对方的心理状态。图灵反对要求机器先提供一种无从获得的意识体验证明,才承认其行为可以作为证据。这一回应质疑的是过于苛刻的验证标准;它既没有提供检验意识的科学方法,也没有证明每一个成功的模仿者都具有体验。

约翰·塞尔于1980年发表的中文房间论证,质疑了从成功操纵符号推导出理解的做法。这一思想实验描述了一个不懂中文的人,按照形式规则操纵中文符号的情形。塞尔认为,即使由此产生的交流能让外部观察者信以为真,仅凭对话成功,仍不足以证明那个遵循规则的人理解中文。这一论证针对的是“只要运行适当的程序就足以产生心智”这样的强主张,而非“计算机能够生成有用的语言”这一有限主张。

各种回应对恰当的分析单位存在分歧。“系统回应”认为,执行规则的人只是一个组成部分;如果存在理解,它也应归属于整个有组织的系统。其他回应则强调学习、感知、具身性,或与环境之间的因果互动。这些争论的关键在于理解究竟是什么,而不只是某一次对话是否显得流畅。任何图灵测试得分都无法独自裁定这些哲学立场的是非。

另一个颇具影响力的反对意见来自内德·布洛克:一个系统原则上可以借助极其庞大的查找结构生成恰当的回答,却不具备我们通常赋予人的那种智能。即使从实践角度指出,这种结构的规模将大得难以想象,也不能消除行为规范与产生相应行为的机制解释之间的概念区别。这个例子追问的是:当内部组织方式截然不同时,仅仅在对话输出上相符是否就已足够。

这些反对意见支持几项可以分别看待的结论。类人的对话可能是语言能力的证据,却不能证明主观意识的存在。它在某些情况下可能展现出有用的推理,却不能表明每个回答都以理解为基础。反过来,一种理论若要否认某种特定架构具有理解能力,也需要提出超出“它是人造的”这一观察的依据。图灵测试提供了一个让这些分歧具体呈现的场景,但它并未消除分别界定智能、理解和意识的必要性。

扩展、替代方案与相关测试

与斯蒂文·哈纳德相关的完全图灵测试,将测试所需的证据扩展到脱离身体的对话之外。在这种测试中,受测对象还必须表现出类似人类的感知能力和感觉运动能力。其出发点在于,日常语言所指的是通过经验接触到的物体与动作;如果只评估语言输出,就可能忽略这些输出与现实世界之间的联系。这使该测试与具身智能联系起来;在具身智能中,感知、行动和环境反馈都被视为智能行为的重要组成部分。

这一扩展与符号接地问题密切相关:符号如何获得意义,而不只是通过其他符号得到定义。词典可以用其他词语来解释一个词,但如果整条定义链都没有与现实建立联系,似乎就无法确定其中任何词语究竟指什么。将词语与图像、可操纵的物体或成功完成的动作联系起来的系统,为符号接地提供了可能的途径。这些联系是否足以产生意义,仍是一个哲学问题;但它们对学习和任务表现的实际贡献,则可以通过实验加以研究。

另一种应对方式,是用目标明确、范围较窄的挑战来取代宽泛的人类模仿。赫克托·莱韦斯克、欧内斯特·戴维斯和莱奥拉·摩根斯坦于2011年提出的维诺格拉德模式挑战,使用精心构造的句子,要求受测系统判断代词的指代对象。典型的成对题目只改动句子中的一小部分,就会使某个代词的预期指代对象发生变化。其目的是测试常识推理,同时降低表面词语关联以及评判者对对话风格的反应所产生的影响。这类测试更容易采用一致的评分标准,不过数据集的构建以及系统学到的统计规律也会带来各自的复杂问题。

“反向图灵测试”一词用于描述由机器尝试区分人类与自动化系统的情形。最广为人知的例子是验证码,在线服务用它来阻止自动化滥用。早期,这类挑战往往采用扭曲的文字,人类比当时的软件更容易识别这些文字。后来的方法则采用图像选择、交互模式或风险评估。它们的目标是访问控制,而不是对智能作出一般性判定;随着自动识别能力的提高,其有效性也会发生变化。

其他提议则关注创造力、科学发现或实际能力。洛芙莱斯式测试考察系统能否创作出某种作品,而该作品的相关特征并非只是预先规定好的;这类测试的名称源于阿达·洛芙莱斯对分析机的论述。面向任务的评估则衡量系统在规划、编程或操作软件等活动中的成功程度。这些方法着眼于两种可能性:机器可能能力很强却并不像人,也可能表现得足以让人信以为真,却并不可靠。

这些替代方案未必是在争夺某一种终极测试的地位。感知基准测试、对话研究和实际任务评估,可能揭示同一系统的不同特性。它们之间的关系取决于所要考察的主张:语言模仿、与现实相联系的交互、推理、创造力以及可靠行动,需要不同种类的证据。

实验设计与统计有效性

严谨的图灵测试研究首先要明确其拟验证的主张。判断一个程序能否在简短聊天中骗过缺乏经验的评判者,与判断专业提问者能否在长时间互动中识别出它,是两回事。系统版本、指令、允许使用的工具、对话时长、人类对照组以及判定规则,都会影响对结果的解读。如果缺少这些细节,就不能把不同实验的结果当作同一尺度上的测量值。

应将评判者和对话视为变异的来源,而非可以相互替换的单位。一位格外多疑的评判者可能会把人类和机器都判为机器;另一位则可能把几乎所有对答流畅的交谈对象都当作人类。如果每位评判者进行了多次对话,由此作出的判定就具有相关性。同样,多位评判者审阅同一份对话记录,所提供的证据也不等同于多场独立产生的对话。统计分析必须区分评判者之间、参与者之间以及各场对话之间的变异。

一个有用的起点是同时报告机器和人类被归入各类别的比例。例如,设

pM=P(judged human∣machine),pH=P(judged human∣human).p_M=P(\text{judged human}\mid\text{machine}), \qquad p_H=P(\text{judged human}\mid\text{human}).

pMp_M 较高,表明机器经常被当作人类。但如何解读这一结果,还取决于 pHp_H:如果评判者几乎把所有对象都判为人类,那么结果反映的可能是宽松的判定规则,而非逼真的模仿。报告完整的分类结果及其不确定性估计,比仅报告成功骗过评判者的机器所占比例更有意义。统计学和信号检测论中的方法,有助于区分对差异的辨别能力与偏向某一答案的倾向。

随机猜测所能达到的表现也取决于实验设计。在恰好一名人类和一台机器之间进行强制选择时,毫无线索的猜测会得到 50% 的正确识别率。在针对单个交谈对象作出判断时,机器所占的比例以及告知评判者的信息,都会影响合理的预期。未发现结果与随机水平之间存在统计显著差异,并不意味着二者等效:小规模研究可能只是缺乏足够的统计功效,无法检出有实际意义的差异。要主张二者在实际意义上无法区分,就必须明确可接受的差异限度,并开展能提供充分信息的实验。

控制系统事先接触过哪些材料正变得日益重要。如果常见的对话记录或预期会被问到的问题出现在训练数据中,系统就可能复现某些模式,看起来仿佛具备真正的适应能力。这与基准评估中的数据泄漏(机器学习)问题有关。反复针对固定的评判者群体或题库调优系统,同样可能导致过拟合。与在反复演练过的材料上取得成功相比,独立评判者、全新对话以及使用预留材料进行的测试,能为泛化(机器学习)提供更有力的证据。

报告结果时,还应区分通常表现与精挑细选的精彩片段。只公布最有说服力的一段交流,会掩盖同一系统失败的频率。完整的判定分布、对中断场次的处理方式,以及清楚说明的排除标准,都有助于解读结果。如果对话记录涉及个人信息披露,研究程序还必须兼顾数据隐私,以及参与者同意参与研究时约定的条件。

大语言模型与模仿意义的变化

大语言模型的发展改变了图灵测试的实际应用环境。早期的对话程序往往依赖适用范围狭窄的脚本,而当代系统能够围绕众多主题展开长篇对话。基于Transformer架构的模型从海量文本中学习统计规律,还可以经过进一步调整以适应对话。它们流畅的表达使看似自然可信的对话不再那么罕见,但这种可信度能否始终反映真实的知识或推理能力,仍是一个悬而未决的问题。

这些模型的运作方式,也让存储的语言材料与适应性表现之间的界限变得更加复杂。训练好的模型通常不是从固定目录中挑选一段完整的对话记录作为回答,而是根据当前语境生成序列。不过,其输出仍可能复现记忆中的材料、套用熟悉的模式,或在问题换一种表述时出错。因此,在考察一个回答是否令人信服时,还必须同时考察其稳健性、一致性以及在陌生任务上的表现。未经进一步分析,既不能简单地用查表检索来充分解释观察到的行为,也不能将其视为模型具有人类式理解的证据。

对话上的成功可以与人工智能幻觉并存,即以流畅的形式生成缺乏依据或错误的内容。在模仿游戏中,自信的语气、得体的社交表达和丰富的叙事细节,即使在事实依据薄弱时,也可能让回答显得像是出自人类。在信息服务中,同样的特征却可能让错误更难被察觉。这使得“表现得像人”的能力与“提供可靠帮助”的能力在实际应用中呈现出区别。

因此,现代评估通常将对话研究与推理、事实准确性、指令遵循和工具使用等测试结合起来。对于接入信息检索系统或计算器的系统,应当评估实际使用的完整配置,而不应直接将其等同于孤立运行的底层模型。对于AI智能体,相关证据可能包括它能否经过多个步骤正确完成任务、从错误中恢复,以及遵守运行约束。对某个行动作出像人类一样的解释,并不能替代对该行动结果的核查。

测试最初对隐藏身份的强调,在实际部署中也有了不同的意义。在实验中,参与者可能知情并同意暂时隐瞒身份,以便衡量模仿效果。而在实验之外,用户可能需要知道自己是否正在与自动化系统互动。类人对话能够改善无障碍使用体验,让系统更易于使用,但也可能助长身份冒充和社会工程学攻击。其中的伦理与安全问题涉及使用情境、身份披露及其后果,而不仅仅是语言是否流畅。

随着对话模仿变得更加容易,对图灵测试结果的解读也越来越需要谨慎说明其适用条件:测试的是哪一个模型和界面、采用了什么指令、由哪些评判者参与,以及测试持续了多久。要声称系统具备可靠推理、安全自主行动或意识,仍然需要另行提供证据。对于被设计为如实公开其人工系统身份的系统,这一区别尤为重要,因为诚实披露身份会使它们很容易被识别出来,却并不表明其底层能力有限。