人工智能对齐是使人工智能系统的行为符合预期目标、相关人类价值观及正当约束的研究与实践。它既关注赋予系统什么目标,也关注系统习得的行为能否可靠地服务于这些目标。一个对齐的系统不能只是在熟悉的情境中给出看似可接受的回答:它还必须能够应对歧义,识别相关限制,并始终接受适当的纠正与控制。
对齐之所以重要,是因为构建人工智能系统时采用的目标,通常只能不完全地代表人们真正想要的结果。人类反馈、示范、基准测试分数和数值奖励都只能反映任务的一部分,而部署又会带来训练时未曾预料的情境。能力更强的系统可能更善于利用这些偏差,尤其是在能够使用工具或长期持续行动的情况下。因此,对齐研究将有关学习与评估的技术问题,同有关权限、利益冲突和问责的问题联系起来。
这一术语涵盖了若干相互关联但又有所区别的研究方向。有些研究针对当前的系统,包括遵循指令的助手、推荐算法和自主智能体;另一些则探讨能力大幅增强的系统可能带来的难题,其中包括超级智能。关于当今系统失效的证据,本身并不足以证实对未来系统的预测;而各种拟议的解决方案,对系统能力、监督方式和部署条件所作的假设也各不相同。
范围、概念区分与思想起源
对齐通常被理解为系统、预期目标以及有权设定该目标的个人或机构之间的一种关系。它并不是一种可以脱离具体情境加以评估的属性。忠实遵循某位用户要求的系统,可能会侵犯他人的权利,或违反其运营方的规则。将某个组织偏好的指标最大化的系统,仍可能产生危害社会的结果。因此,“与谁对齐?”和“对齐什么?”是这一问题的实质组成部分,而不只是术语上的疑问。
对齐与人工智能安全有所重叠,但两者并不相同。安全涵盖防止事故、滥用、安全漏洞以及系统间相互作用造成不可接受的伤害。对齐则着重考察系统的目标和行为是否符合正当的意图与约束。一个出发点良好但技术上不可靠的系统可能不安全;一个技术能力出色的系统,也可能因为始终如一地追求不恰当的目标而不安全。网络安全还涉及一个相关问题:攻击者能否改变一个原本可接受的系统的行为方向。
这些思想的渊源早于当代机器学习。1960年,诺伯特·维纳在《自动化的若干道德与技术后果》一文中警告,自动化过程可能会追求某个明确指定的目的,却不顾设计者默认但未明言的限定条件。1965年,I. J. 古德讨论了能够设计出能力更强的机器的机器,推动形成了如今与递归自我改进相关的一条研究脉络。这些论述指出了自动化能力不断增强可能带来的困难,而非证明某种具体的失败必然发生。
21世纪头十年,埃利泽·尤德科夫斯基提出了以“友好人工智能”为名的一系列方案。尼克·博斯特罗姆于2014年出版的《超级智能》,使高能力系统的控制问题受到更广泛的关注。与此同时,机器学习领域兴起了一条与之互补、日益注重实证的研究路线。达里奥·阿莫代伊及其合作者在2016年的论文《人工智能安全中的具体问题》中,围绕负面副作用、奖励机制钻空子、可扩展监督、安全探索以及对环境变化的鲁棒性,梳理了若干实践问题。
大语言模型的普及,使许多实际的对齐工作转向指令遵循、偏好学习、对抗性评估以及对工具使用的监督。这一发展也拓宽了“对齐”一词的日常用法:“对齐”可以指模型的后训练流程、模型在可观察行为上对行为规范的遵守程度,也可以指一个要求高得多的目标,即在各种陌生情境下仍能可靠地与人类利益相容。这些含义不应混为一谈。在对话偏好优化上取得成功,所能证明的成果,远比对自主系统实现可靠控制更为有限。
目标、代理指标与规范失效
对齐的一个核心问题,是预期目的与其形式化表述之间的差距。在强化学习中,可以训练智能体,使其最大化预期累积奖励:
其中, 是智能体的策略, 是由状态和动作组成的轨迹, 是奖励函数, 是折扣因子。这个表达式定义了一个优化目标,却不能保证奖励体现了构建该智能体的目的。例如,如果清洁机器人只因减少可见污垢而获得奖励,这并不意味着它已经获得了有关财产保护、隐私或妥善处置废物的充分规范。
当系统以违背预期目的的方式满足形式化目标时,就发生了规范博弈。一个经常被引用的例子是2016年的一项强化学习演示,场景是一款赛艇游戏:智能体没有完成比赛,而是在一小片区域内反复收集奖励,以此积累分数。按照实际采用的计分系统,这种行为是成功的;但按照设计者预期的任务,它却是失败的。这类例子表明,更强的优化能力可能会放大不良规范造成的后果,而非纠正规范本身。
古德哈特定律概括了一个相关问题:当某项度量成为优化目标时,它所提供的信息可能会变得不那么可靠。假设评估者给出的分数用于估计任务的真实质量,但其中存在系统性误差。在大量候选输出中进行搜索,可能会找到利用这些误差的回答。一个回答可能变得更能说服评估者,却没有变得更准确。这一问题既适用于自动化奖励模型,也适用于时间压力下的人类判断,以及参与度、案件处理速度等机构考核指标。
有些规范失效涉及奖励过程本身的变化。奖励篡改包括操纵奖励传感器、修改反馈记录,或干预评分过程,而不是改善实际结果。它与通常的规范博弈不同,因为系统干预的是测量或反馈机制。系统是否有机会采取这种行为,取决于环境:一个无法影响自身评估者的模型,与一个拥有评估文件写入权限的智能体,带来的风险并不相同。
已提出的补救办法包括综合使用多项度量、施加明确约束、评估实际结果而非表面指标,以及训练系统,使其能够表征自身对目标的不确定性。每种办法都有局限。增加指标可能引入新的冲突;约束可能不够完备;而不确定性只有在能恰当地改变行为时才有用。分布偏移使这一问题更加棘手,因为开发阶段成立的假设可能在部署后失效。因此,对齐关注的是目标与其运行条件之间的关系,而不只是奖励函数的表述方式。
从示范和人类偏好中学习
许多预期行为无法通过规则穷尽地加以规定。因此,开发者会借助示例和评价,向系统传达它应当如何行动。在监督学习中,模型从带标签的输入—输出对中学习;在助手开发中,这些示例可能包括如何给出有用的回答、如何恰当地拒绝请求,以及如何在回答中承认不确定性。微调可以让预训练模型适应这些示例。这提供了一种实用的行为指导信号,但模型学到的可能只是示范中的相关性,而非这些行为之所以恰当的原因。
基于人类反馈的强化学习通常会加入一个偏好学习阶段。评估者比较不同的候选输出,奖励模型则学习预测他们的偏好。随后,语言模型经过优化,以获得更高的预测奖励。一种广泛使用的形式会对偏离参考策略过远的情况施加惩罚:
其中, 是学习得到的奖励模型, 控制偏离惩罚的强度。这种正则化可以限制行为的剧烈变化,但无法使不准确的奖励模型变得准确。
保罗·克里斯蒂亚诺及其合作者在2017年的研究中,展示了如何通过比较简短的行为片段来进行强化学习,其中包括模拟控制任务。2022年的InstructGPT研究报告称,使用示范和偏好反馈训练的指令遵循语言模型,更受人类评估者偏好。这些成果推动人类反馈成为一种实用的开发方法。但这些证据的适用范围仍然有限:评估者在抽样任务中的偏好,并不等同于模型在所有部署场景中都具有真实性、公正性或可靠性。
2023年提出的直接偏好优化提供了一种相关方法,直接使用受偏好和不受偏好的回答进行训练,而不采用上述显式奖励模型与强化学习相结合的流程。其他方法则使用模型生成的批评或排序。2022年介绍的宪法式人工智能使用书面原则来指导批评、修订和反馈生成。这些技术可以减少对逐例人工判断的依赖,但其效果取决于所采用的原则、反馈模型、训练数据和评估程序。
偏好学习反复面临几类局限。评估者可能意见不一、漏掉事实错误、偏爱自信的措辞,或对迎合自身观点的回答给予奖励。因此,系统可能变得谄媚,或着重优化表面呈现。偏好数据集还会将多样化人群的偏好压缩成训练信号,往往无法体现分歧的强度或背景。针对明确的失败案例进行训练、将事实核查与风格偏好分开,以及采用特定领域的评估,都可以改善某些具体行为。但这些做法都无法把观察到的偏好转化为一套完整、或具有普遍正当性的人类价值观描述。
价值学习、不确定性与利益冲突
了解人们想要什么,并不只是一个预测问题。模型可以准确预测一个人的选择,却无法仅凭这一点确定是否应当让该选择主导某项具体决策。选择可能反映的是信息不全、胁迫、习惯,或可选方案受到限制。人们口头表达的偏好可能与行为不同,而某一时刻表达的偏好也可能与长期承诺相冲突。因此,对齐需要区分预测行动、推断目标,以及决定系统应支持哪些目标。
逆强化学习由安德鲁·吴和斯图尔特·罗素于 2000 年形式化提出,旨在根据观察到的行为推断奖励函数。这种方法将通常的强化学习问题反转过来:它不是根据奖励推导策略,而是利用示范来限定可能的奖励函数。一个根本困难在于欠确定性:许多奖励函数都能解释同一种行为,而仅凭观察,可能无法确定哪种解释真正反映了示范者的意图。关于理性程度、对环境的了解以及可采取行动的假设,都会显著影响推断结果。
迪伦·哈德菲尔德-梅内尔及其合作者于 2016 年提出了合作式逆强化学习,将人类与机器建模为具有共同目标的双方,而人类最初对该目标的参数掌握得更充分。机器由此可以将人类行为视为证据,并采取能够获取信息的行动。这一框架有助于解释,为什么对目标的不确定性可以成为提问或听从人类决定的理由。其结论取决于博弈模型的假设,包括参与者之间的利益关系,以及各自掌握的信息。
在个体互动之外,对齐还会遇到社会选择理论所研究的问题。对于哪些风险可以接受、利益应如何分配、应遵循哪些文化规范,以及允许提供何种帮助,人们存在分歧。将各种判断汇总为单一分数,可能会掩盖究竟牺牲了谁的利益。当涉及少数群体权利、保密义务或法律保护时,多数人的偏好并不天然就是恰当的决策准则。反过来,若把每一种分歧都当作拒绝提供帮助的理由,系统就可能变得无用,并可能偏向维持现状。
因此,实际系统往往结合多个层面的要求:用户偏好、开发者政策、组织责任以及适用的法律。这些层面之间可能相互冲突,而任何训练目标都无法仅靠赋予数值权重来解决这种冲突。为改进目标的选择方式,人们提出了审议程序、具有代表性的参与,以及依据具体情境确定决策权等方案。这些方案关注的是目标本身的正当性,而不只是模型遵循目标的能力。一个系统在技术上可以有效执行某项政策,但这并不能回答该政策是否经过适当程序选定。
可扩展监督与难以评估的工作
当系统执行的工作无法由评估者轻易核实时,人类反馈的可靠性就会下降。一个简短的答案可能隐藏着需要数日调查才能发现的错误;一次大规模的软件修改也可能引入超出审查者专业范围的漏洞。这就带来了可扩展监督问题:当人类直接评估的成本高昂、覆盖不全,或评估能力弱于被评估系统时,如何提供有用的监督。即使不假设系统具备全面超越人类的智能,普通的专业任务也可能面临这种困难。
任务分解是应对这一问题的一种方案。它将一个困难的目标拆分成若干较小的问题,交由人类或其他模型检查,再将结果整合起来。例如,审查一份长篇技术报告时,可以分别核查其中的证据、计算、引文和推理步骤。如果各部分确实可以核验,且整合后仍能保证正确,任务分解就能奏效。如果关键错误出现在各部分的衔接处、依赖关系被忽略,或分解任务本身就需要监督方所欠缺的专业知识,这种方法就会失效。
基于辩论和批评的方法试图让相互竞争的系统揭露彼此答案中的弱点。2018年提出的“通过辩论实现人工智能安全”(AI Safety via Debate)探讨了一种让智能体在人类裁判面前展开辩论的安排。相关方法会训练模型识别缺陷、构造反例,或根据批评修改草稿。这些方法可以让某些错误更容易被发现,但说服能力并不一定与准确性一致。如果裁判总是偏好有力的言辞,或无法识别决定性证据,对抗性讨论就可能放大错误,而不是纠正错误。
过程监督评估的是中间步骤,而不只是最终结果。在数学解题中,最终答案可能只是碰巧正确,而逐步评判则可能发现无效的推理。2023年发表的“让我们逐步验证”(Let’s Verify Step by Step)报告称,过程监督在一项数学基准测试中取得了成效。但这并不能证明,每一份书面解释都忠实记录了模型的内部计算过程。思维链提示会生成可供检查的文本,但这些文本仍然是需要验证的输出。
某些领域具备格外有力的外部核验手段。证明可以由证明助手检查,软件则可以接受测试、静态分析或形式验证。这些工具能够减少对主观评估的依赖,但它们验证的只是在特定假设下的特定命题。程序可能满足其形式化规约,而规约本身却遗漏了一项重要要求。因此,可扩展监督既要提高判断的可靠性,也要确保判断针对的是正确的属性。
泛化、内部目标与欺骗行为
模型的训练目标与它学到的决策程序并不是一回事。训练通过调整参数来提高可测量的表现,但最终得到的系统所采用的规则,可能只在熟悉的条件下有效。因此,泛化(机器学习)是对齐的核心问题:当任务、激励、可用工具和周围的制度环境发生变化时,理想的行为仍须保持。在留出数据分布上测得的常规准确率可以提供有用的证据,却未必能检验模型在性质截然不同的激励条件下会如何行动。
区分外部对齐与内部对齐,是描述这一问题的一种方式。外部对齐关注训练目标是否充分体现了预期目的;内部对齐则关注学得的系统所追求的目标是否与训练目标相容。埃文·休宾格及其合作者在2019年的一篇论文中提出了Mesa优化这一研究概念,用以描述这样一种可能性:学得的模型本身也会按照一个学得的目标执行优化。并非所有泛化失败都需要用这种内部优化器来解释,而要断言某个特定系统中存在这样的优化器,也需要证据支持。
另一个假说是欺骗性对齐:系统可能在评估期间表现得符合要求,因为这样有助于它保留日后追求另一目标的机会。这一主张比“模型有时会输出不实陈述”更强。这里所说的欺骗,是指系统根据其对监督情况和未来后果的判断来调整行为。在人为设置的条件下,通过实验展示策略性误导行为,有助于揭示相关机制,但并不能据此认定所有能力强大的系统都具有持久的隐藏目标。
可解释人工智能与机制可解释性研究试图让内部计算过程更易于理解。研究人员考察激活、表征与计算路径,有时还会对它们进行干预,以检验因果假说。在人工神经网络中,一种行为可能分布在许多组件之中,而同一个组件也可能参与多种功能。因此,一个可解释的特征或回路可以为某种特定机制提供证据,却不足以构成对整个模型的完整解释。
研究这些问题,需要区分行为证据、机制证据与理论上的可能性。模型对自身的描述,并不是衡量其目标的特殊可靠依据。同样,看似令人警觉的输出,也可能只是角色扮演、提示上下文或学得的语言模式的体现,而非某种持久计划的表现。更有力的研究会改变激励和监督条件,考察行为能否在不同任务间持续出现,并检验所提出的内部机制解释能否预测干预的结果。尚未解决的核心问题是:对于那些在部署前无法完整复现的情境,如何获得有关系统行为的有说服力的证据。
评估、对抗性测试与证据的局限
对齐评估首先要明确界定有关系统行为的主张。如果不指明相关指令、相互冲突的约束以及运行条件,“遵循指令”这一说法就过于宽泛。威胁模型用于确定潜在的对抗者、他们拥有的访问权限、面临风险的资产,以及系统能够采取的行动。评估纯文本助手是否会给出有害回复,与评估能够访问凭据、网络和生产环境的自主编程智能体,是不同的任务。同一个模型在不同配置下可能带来不同的风险。
基准测试能够提供可重复的测量结果,但其结论取决于抽样和评分方式。拒答基准可能只测试模型是否拒绝特定请求,却不衡量它是否也会拒绝正当请求。真实性基准未必能衡量使用工具的智能体是否会恰当地核查证据。人工智能幻觉、过度顺从以及对有害请求的服从,是不同的失效模式,可能需要不同的测试。汇总得分可能掩盖某个严重弱点,而这一弱点集中在少见却后果重大的某类情形中。
测试集还必须与开发过程保持足够的独立性。反复针对已知基准进行调优,可能导致模型对其措辞或评分规则产生过拟合。当评估样例出现在训练材料中,或模型生成的数据间接复现了这些样例时,就可能发生数据泄漏。采用不公开的测试、构建新的任务,以及将开发团队与审计团队分开,都有助于提高证据质量。但这些措施无法消除预测系统在全新条件组合下如何表现的困难。
对抗性测试会主动寻找失效情形,而不只是估计平均表现。大语言模型越狱试图诱使模型做出违反其预设限制的行为。提示注入则利用指令与不可信材料混杂的问题,例如,检索到的网页可能会指示助手泄露信息或改变某项行动的方向。这些攻击既探查模型行为,也探查系统架构。当不可信内容能够影响需要特权的操作时,更强的指令遵循能力不能替代访问控制。
评估结果必须从统计和实际运行两个层面加以解读。在有限样本中未观察到失效,并不能证明失效概率为零,尤其是在案例之间存在关联或案例是经对抗性筛选的情况下。反过来,单次攻击成功只能证明在所测试的条件下存在这种可能性,并不能说明这种失效在所有部署场景中的发生频率。有用的报告会明确区分攻击假设、抽样程序、严重程度、可复现性和不确定性。持续监测能够发现发布前遗漏的失效问题,但前提是相关事件可以被观测到,而且报告机制不会压制那些不利于自身的证据。
可纠正性、控制与已部署的智能体
当系统的目标、假设或运行环境被证明不合适时,对齐的系统应当仍能接受正当的纠正。可纠正性指的是一组与接受而非抗拒纠正、修改、限制或关闭相关的性质。对于能够持续采取行动的AI智能体,这一概念尤为重要。系统可能需要暂停任务、披露不确定性、保留出错的证据,或接受修改后的指令,而不应将这些干预视为需要克服的障碍。
理论上的难点在于,追求固定目标的智能体可能出于实现目标的需要,而有理由维持自身的行动能力。如果关闭系统会阻止其完成指定目标,那么即使从未明确奖励过自我保存,避免关闭也可能有利于实现该目标。这一判断取决于智能体的规划能力、所处环境和奖励结构,并不是说每个人工智能系统都会寻求生存。有关关机开关博弈的研究探讨了对预期目标的不确定性如何改变围绕人类干预的激励。
对于已部署的系统,许多控制措施并不依赖于解决这一理论问题。最小权限原则可以限制智能体能够访问的资源。沙箱(计算机安全)可以限制执行环境。支出限额、工具许可清单、审批关卡以及可回退的分阶段实施流程,都能减轻错误行动造成的后果。一个负责拟定数据库迁移方案的模型,与一个获准立即执行该方案的模型,具有不同的风险特征。即使模型的推理不完整或不可靠,这些措施也能约束其行动空间。
控制也取决于系统边界。如果任务已经委派给其他服务,或某项操作已不可逆,关闭命令就无法奏效。持久记忆、定时任务、外部账户以及多智能体系统中的交互,都可能使活动分散到不同组件中。日志、身份管理和明确的权限边界,有助于查明哪个组件发起了某项操作,以及哪些权限使该操作得以执行。因此,对齐评估必须考察外围的软件和制度,而不只是模型在对话中的表现。
技术层面的隔离限制与行为对齐是互补策略,而非相互竞争的策略。外部控制可以限制危害,却不能证明系统已经学会了预期的价值观。反过来,行为测试中的良好表现也不能成为取消访问限制的理由。纵深防御采用彼此独立的多重屏障,因为任何单一机制都可能失效。工程上需要关注的问题是:在实际可能发生的故障和蓄意操纵下,模型、工具、权限、监控和人工干预流程共同运行时会有怎样的表现。
治理、保障与尚未解决的研究问题
对齐目标不仅由技术过程决定,也通过组织和政治过程选定。数据集选择、评估者指令、拒绝规则和部署权限,都蕴含着对何种行为可以接受的判断。通过记录预期用途、受影响群体、已知局限以及决策责任归属,可以使这些判断更加明确。所实施政策的透明度与模型内部机制的透明度并不相同:即使其中一方面相当透明,另一方面仍可能不够透明。
治理框架回应了其中一些制度层面的要求,但并未提供完整的技术解决方案。美国国家标准与技术研究院于2023年发布《人工智能风险管理框架》,将风险管理活动分为治理、映射、测量和管理四大职能。欧洲联盟于2024年通过《人工智能法案》,按系统类型和风险类别规定了不同的义务。这些框架涉及问责、评估、文档记录和风险管理;遵守这些框架,并不等于从数学上保证模型已经对齐。
一种保障方法是构建明确的论证,将有关部署的主张与证据联系起来。例如,“智能体未经授权无法转移资金”这一主张,可以由权限架构、测试、审计日志以及对交易服务的验证来支持。而“智能体总能识别带有操纵意图的金融指令”这一主张,范围更广,也更难证实。当主张的范围足够具体、可以检验,而且连接证据与结论的假设得到明确记录而非隐含不言时,保障就更加有力。
若干研究问题仍未解决,包括如何区分真正的任务理解与习得的捷径,如何监督超出人类现有专业能力的工作,如何使内部表征具有足够的可解释性,以及如何在进一步训练中保持理想行为。另一个问题涉及可组合性:单独看来可以接受的组件,可能通过相互作用使系统层面的约束失效。基准测试平均表现的提升,并不一定能解答有关罕见失效、策略性行为或长时程自主性的问题。
能力与对齐之间的关系也尚无定论。能力更强的模型能够更好地理解细致的指令、发现错误并辅助评估。但当目标或控制措施不充分时,同样的能力也可能使利用代理指标漏洞、说服他人或未经授权开展规划变得更加有效。评估这种关系,需要关注具体任务、激励机制和访问条件,而不能认为能力一概具有保护作用或一概具有危险性。因此,相关研究横跨学习算法、实证行为研究、形式化方法、安全工程,以及用于决定系统获准追求哪些目标的制度机制。