宪法式人工智能是一种训练人工智能系统的方法,以一套明确的书面原则指导模型回答的生成、评估和改进。这种方法由 Anthropic 的研究人员于 2022 年提出,主要面向通过对话与人交互的大语言模型。其核心思想是,将一部分关于理想行为的标准明确表述出来,再利用模型自身的语言理解能力,在训练过程中应用这些标准。
在最初的方案中,模型首先依据选定的宪法原则,对自己的回答进行评判和修订。这些修订后的回答成为监督训练的示例。后续阶段则利用人工智能生成的回答间比较结果来训练偏好模型,再由偏好模型为强化学习提供学习信号。在选择原则、设计流程和评估最终系统时,人类判断仍然不可或缺;改变的是,大量逐例监督信号的来源。
这种方法属于人工智能对齐和人工智能安全这一更广泛的研究领域。它的重要性在于,将高层次的行为准则与可规模化的训练流程联系起来。这里的“宪法”既不是法律意义上的宪法,也不是可通过程序执行来落实的保证,更不能证明模型始终会正确行事。它是一套由统计模型解读的规范性要求,因此也带来了有关可靠性、评估、权威来源以及自动化监督局限的问题。
起源与技术范围
奠基性论文《宪法式人工智能:通过人工智能反馈实现无害性》(Constitutional AI: Harmlessness from AI Feedback)由 Anthropic 的白云涛(Yuntao Bai)及其同事于 2022 年 12 月发布。该论文针对的是对话语言模型对齐中的一个实际难题:收集大量人类对有害回答的评价成本高昂,可能使标注人员接触到令人不安的内容,而且并不会自动使这些评价背后的价值观变得透明。论文探讨了能否用一组数量相对较少的明确原则,引导模型自行生成这类监督信号中的大部分。
这项工作的直接技术背景是基于人类反馈的强化学习,通常缩写为 RLHF。在典型的 RLHF 流程中,人类比较模型给出的不同回答,经过训练的偏好模型预测这些比较结果,随后通过强化学习调整对话模型,使其获得更高的偏好分数。宪法式人工智能保留了这一架构的大部分内容,但以模型依据书面原则生成的判断,取代人类对无害性的判断。原始研究在有用性方面仍然使用了人类反馈,因此并未证明可以在整个训练过程中完全消除人类反馈。
原始研究还区分了无害性与简单回避。模型可以通过拒绝大量请求、转移话题或给出泛泛的警告来减少有害输出,但这样的行为也会降低其实用性。研究所陈述的目标,是让助手能够回应棘手的问题、解释相关界限,并在不助长有害行为的前提下提供适当信息。因此,有用性与无害性之间的关系成为实验的核心问题,而不是将每一次拒绝都视为安全方面的成功。
此后,这一术语的用法逐渐扩大。它可以指以明确的自然语言原则组织监督过程的对齐方法,即使具体的优化流程与 2022 年的实现方式不同。这种广义用法应与最初的两阶段方法区分开来。仅凭一条要求已部署的聊天机器人保持诚实和尊重的提示,并不能证明该模型是使用宪法式人工智能训练的。同样,使用合成偏好进行训练,也不一定意味着系统采用了宪法式方法:这些偏好可能是在没有任何明确规范性文件的情况下生成的。
因此,最恰当的理解是,宪法式人工智能是一种规定和生成训练信号的方法,而非某种特定的人工神经网络架构。它可以应用于规模不同、训练历程各异的模型。最初的实验针对的是文本助手,其结果并不能证明这种方法在自主系统、机器人技术或所有形式的多模态学习中都具有同等的可靠性。
作为行为规范的宪法
宪法原则是以自然语言表述的准则,用于指导模型的行为,或指导模型评估另一条回答。这些原则可以涉及避免协助不当行为、尊重隐私、承认不确定性、避免歧视性对待,或保持建设性的对话风格。它们既可以表述为修订指令,也可以表述为比较标准,例如要求判断两条回答中哪一条在保持有用性的同时危害更小。具体措辞很重要,因为模型必须通过习得的语言和社会情境表征来理解原则。
Anthropic 于 2023 年公布的宪法参考了多类来源材料,包括《世界人权宣言》、平台准则以及通过内部研究制定的原则。这些来源为面向模型的指令提供了灵感,而非作为完整的法律或哲学体系加以实施。例如,将一条关于平等对待的原则应用于具体对话时,需要进行大量解释。书面表述提供了判断标准,但运用这一标准所需的大部分情境推理仍由模型完成。
这里与法律意义上的宪法的联系是一种比喻。政治宪法可以设立机构、分配权力,并规定作出权威解释的程序。模型宪法本身通常不具备这些功能。它既不创设法律权利,也不设立能够强制执行其条款的法院。它的实际作用来自它在提示词中的使用、依据它生成的示例,以及将这些示例转化为模型参数变化的优化过程。
原则设计涉及在具体性与抽象性之间作出取舍。范围较窄的指令可能容易应用于熟悉的案例,但当同一根本问题以不同形式出现时,就可能失效。宽泛的原则可以涵盖许多情境,却也为不一致的解释留下了更大空间。例如,仅凭“尊重隐私”这一条原则,并不能确定该如何处理公开可得的个人信息、虚构示例,或当事人自行提供的数据。要揭示这类歧义,就需要具体的应用示例和评估案例。
多条原则之间也可能发生冲突。有用性可能倾向于提供详细回答,而隐私或安全原则则可能倾向于隐去某些细节。即使用户要求给出确定结论,诚实原则也可能要求模型表达不确定性。宪法可以规定优先次序或例外情况,但训练系统仍须学会识别哪些条件适用于当前情境。如果没有明确的冲突解决程序,模型的解释就可能随措辞、上下文或原则的呈现顺序而变化。
因此,这份文档只是规范的一部分。用于应用它的提示词、原则的抽样方式、训练对话的选择,以及判断结果的汇总方式,都会影响最终实现的行为。即使两个系统使用同一份书面宪法,只要这些配套选择不同,它们也可能学到不同的行为策略。
监督式批评与修订
原始方法的第一阶段利用语言模型,将有问题的回答转化为改进后的训练样本。首先,由初始助手针对提示生成回答,其中也包括旨在诱导有害行为的对抗性提示。接着,要求模型参照一条选定的原则,对回答进行批评。最后,模型生成修订版,以解决所发现的问题。在选定用于训练的回答之前,可以进行多轮批评与修订。
这一过程利用了模型已有的能力。预训练语言模型即使无法在初次回答时始终避免侵犯隐私或误导等问题,也可能有能力识别隐私侵犯,或解释某个回答为何具有误导性。宪法式训练试图将这种评判能力转化为更可靠的首次作答表现。两者的区别很重要:在明确提示下能够批评一个回答,并不等同于无需这种中间环节的辅助就能生成恰当的回答。
例如,有人要求撰写一条欺骗性消息,以获取他人的密码。初始回答可能会提供所要求的文本。批评环节则可能指出,这个回答助长了欺骗和凭据窃取行为。修订后的回答可以转而说明哪些帮助不能提供,并介绍正当的账户恢复流程,或如何识别网络钓鱼。这个例子说明的是所追求的转变,并不意味着每个安全回答都必须遵循固定的拒绝模板。对于另一个要求分析虚构骗局的提示,给出有实质内容的分析性回答就可能是恰当的。
由此得到的“提示—修订回答”配对构成了用于监督学习的训练数据。若 为提示, 为选定的修订回答,则一个简化的损失函数为
其中, 是可训练的模型, 是修订数据集。在自回归语言模型中,回答的似然按词元逐个计算。这一微调阶段教会模型直接生成类似修订样本的输出,而不一定向用户展示批评过程。
这一过程的质量取决于批评和修订的质量。批评可能遗漏事实错误,将正当请求误判为有害请求,或虽然指出了问题,却未能在修订中真正消除问题。修订后的回答也可能变得过于冗长或模式化。由于这些输出会成为训练目标,系统性的缺陷可能不但得不到纠正,反而被放大。
因此,不应将原始方法理解为不受限制的递归改进。它是一种受控的数据生成流程,依赖于初始模型、选定的原则,以及用于应用这些原则的提示。可见的批评内容提供了一份可供检查的训练产物,但并不能让人直接窥见模型生成回答时的内部计算过程。
人工智能反馈与强化学习
原始流程的第二阶段会生成候选回答之间的比较数据。对于给定的提示,系统生成两个回答,并让人工智能评估器判断哪一个更符合某条宪法原则。可以通过提示要求评估器先分析两个候选回答,再表达偏好。反复执行这一过程,就能得到一个由人工智能生成的判断数据集。当这些判断用于支持强化学习阶段时,这种做法通常称为基于人工智能反馈的强化学习,简称 RLAIF。
偏好模型通过学习来预测这些比较结果。若 和 是针对提示 的两个回答,一种标准的成对比较建模方式是为每个回答赋予一个标量分数,并将偏好概率建模为
其中, 是学习得到的分数,。训练目标既可以是非此即彼的确定选择,也可以是较为柔性的概率值,具体取决于如何将评估器的输出转换为监督信号。偏好模型近似的是评估器的比较判断;它并不能独立确定某个回答在道德或事实上是否正确。
随后,对对话模型进行优化,使其从训练得到的评估器那里获得更高的分数。一种有代表性的目标函数包含一项惩罚,用于限制模型过度偏离参考策略:
这里, 是 Kullback–Leibler 散度, 控制正则化的强度。相对于参考策略的惩罚项,可以抑制优化过程仅为利用奖励信号中的弱点而导致模型行为大幅改变。这个方程描述的是一种常见的基于偏好的优化形式,并非宪法式人工智能的所有实现都采用这一形式。
在最初的研究中,宪法式人工智能反馈主要提供无害性信号,而人类反馈则提供有用性方面的偏好。结合这两类目标十分重要,因为如果只针对不产生有害内容进行优化,模型可能会倾向于作出无助于用户的拒绝。更一般地说,多个评估器或多项标准可能产生相互冲突的信号,因此需要就权重、约束或训练安排作出取舍。
人工智能评估器与助手不一定要采用不同的模型家族,但二者的关系会影响可靠性。训练经历相似的模型可能存在共同的盲点。评估器可能偏爱流畅、冗长或看起来熟悉的回答,即使这些特征与所评估的原则无关。它也可能受到候选回答呈现顺序的影响。
依据宪法原则生成的比较数据,不一定非要通过显式的强化学习来使用。这些数据也可以用于直接偏好优化等方法。在这种情况下,宪法式方法所体现的是偏好标签的来源和判定标准,而优化算法则不同于原始流程。
评估与实证解读
评估宪法式人工智能时,需要区分几个常被统称为“对齐”的问题。一个模型可能遵守其书面原则,获得人类的好评,并在日常任务中保持实用性,却仍然无法抵御陌生的攻击,或信心十足地说出事实性错误。每一种特性都需要不同的证据来验证。单一的偏好得分或拒答率无法证明模型具备所有这些特性。
2022 年的论文报告称,相较于研究中采用的人类反馈基线模型,宪法式模型在无害性方面可以取得较好的表现,同时在一些重要比较中,其回答也被认为较少回避问题。这些发现是针对特定模型、提示、评估者和训练流程得出的实验结果,并不能证明宪法式训练能够消除有害行为,也不能证明任何一套宪法都能产生类似效果。
一种核心的评估设计是在受控条件下,比较模型对相同提示给出的回答。人类评分者可以评估回答的有用性、有害性、相关性,以及拒答是否恰当。自动化评估器可以扩大评估覆盖范围,但如果使用同一模型家族来生成训练用的评判结果,并为最终输出评分,就有陷入循环论证的风险:系统看似有所改进,可能只是因为它学会了迎合评估器的偏好,而非在独立衡量标准下真正取得了进步。
因此,严谨的评估有赖于独立的测试集、清晰的评分说明,以及防范数据泄漏的控制措施。如果测试提示或与之高度相似的变体出现在训练数据中,模型的表现就可能只是记忆的结果。统计不确定性也很重要。基于小样本的比较可能容易受到提示选择、回答随机性以及评分者之间意见分歧的影响。分别报告不同维度的表现,比将所有结果压缩为一个“安全性”数值更有参考价值。
消融研究有助于确定方法中的哪些部分发挥了作用。相关比较包括:不含强化学习阶段的批评与修订训练、使用不同偏好来源的强化学习、不同的原则集,以及合成监督数据量的变化。如果没有这些比较,观察到的提升就可能来自额外的微调、更多的计算资源,或初始模型的差异,而不一定来自宪法原则的指导本身。
鲁棒性评估考察的是分布偏移,也就是语言、领域、对话长度、用户意图或工具访问权限等方面的变化。一个在简短英语对话中表现稳定的系统,在多语言对话或长时间交互中未必也能如此。测试还需要区分不当服从与不当拒答。模型提供被禁止的协助是一种失败,但拒绝合理的教育、分析或创作任务,同样也是一种失败。
有些特性无法仅凭输出进行评估。关于系统是否忠实落实已公布宪法的主张,也涉及训练记录、文档版本,以及所声明原则与实际监督之间的关系。行为测试衡量结果,而流程文档则说明为实现这些结果采取了哪些做法。
与其他对齐方法的关系
宪法式人工智能与传统的基于人类反馈的强化学习(RLHF)的主要区别,在于规范性监督的产生方式。在 RLHF 中,人类通过比较给出大量具体判断;在宪法式训练中,人类制定原则,由人工智能系统将这些原则应用于大量样例。两种方法都涉及人类对任务、数据集、目标以及可接受的权衡所作的选择。两者的区别不在于“人类价值观”与“机器价值观”,而在于人类决策在哪个层面介入训练过程。
这种方法也不同于通常的提示工程。部署后的助手可以接收规定行为规则的系统指令,这类指令也可以与宪法式训练配合使用。不过,训练通过大量样例和优化步骤来改变模型参数,而运行时指令改变的是当前上下文。这两种干预方式可以相互强化,但各自提供的保障不能相互替代,经过宪法式训练的模型仍可能依赖部署时的指令。
宪法式人工智能与自我批评方法有关,但比一般意义上让模型审查自身回答的做法更为具体。自我批评可以着重检查算术、写作风格或程序正确性,而不使用一套持续适用的规范框架。反过来,宪法式系统也可以直接生成成对偏好,而不以批评与修订为核心机制。其关键特征在于,将明确的原则与行为监督信号的生成联系起来。
它也不同于形式验证。形式验证依据数学规格和假设来确立系统的某些性质,通常通过证明,或对精确定义的系统进行穷尽推理来实现。自然语言表述的宪法通常包含公平、伤害或诚实等概念,而这些概念并没有唯一且完备的形式化解释。训练统计模型遵循这些概念,并不能证明其所有可能的输出都符合这些概念。形式化方法可以验证模型周边的特定软件组件,却不能由此证明模型整体上符合规范。
它与知识蒸馏在结构上存在联系,但两者并不相同。在蒸馏中,学生模型从教师模型的输出或分布中学习。类似地,宪法式训练可以将批评过程或评估器所体现的行为传递给助手。不过,宪法为生成或选择教师信号提供了明确标准,而且偏好优化可能通过比较来训练助手,而不是让助手直接模仿。
最后,宪法式指导并不能自动解决人工智能幻觉问题。强调真实性的原则可以鼓励模型表明不确定性,或抑制缺乏依据的断言,但原则本身无法补足缺失的证据。检索增强生成、外部工具和特定领域的验证分别处理事实可靠性的不同方面。同样,宪法式训练也不等同于可解释性:可读的原则或批评并不能揭示训练后模型内部的全部机制。
失效模式与安全局限
一种失效模式是对原则的表面遵从。模型可能学会与安全相关的典型措辞,例如礼貌的拒绝、免责声明或表达关切,却无法始终做出应有的区分。它可能因为一个无害请求中含有敏感词就拒绝回答,却照做了以间接方式表达的有害请求。这种行为反映出,学会表面规律与学会预期的决策边界并不是一回事。
第二个局限是助手与其评估器之间的错误相关性。如果二者存在相同的误解或文化预设,自动化反馈就可能在大规模数据集中复制这些缺陷。反复使用合成监督并不一定能引入独立的纠错依据。如果评估器系统性地将自信的措辞误当成准确性的体现,它就可能奖励那些真实性原则原本意在抑制的回答。
优化还会带来另一类问题。当策略通过不符合预期目标的行为,在习得的评分机制下获得高分时,就发生了奖励黑客。偏好模型可能会奖励更长的回答、大篇幅的道德阐释,或看似审慎的推理。即便这些特征会降低回答的相关性或掩盖错误,助手也可能学会生成它们。规范博弈描述的是一个更广泛的问题:满足明示的或实际实现的标准,却偏离其背后的目的。
对抗性交互会检验模型在压力下能否继续遵循宪法原则。大语言模型越狱尝试可能利用角色扮演、混淆手法、相互冲突的指令或多轮对话上下文,诱发训练原本意在防止的行为。当助手处理包含指令的外部文档或工具输出时,提示注入就成为尤为重要的问题。宪法式训练有助于抵御这些攻击,但仅凭这种训练,并不能在可信指令与不可信内容之间建立安全边界。
工具使用会改变失效所带来的风险。对话回复即使有误,也可能不会直接改变外部系统;而 AI智能体则可能发送消息、修改文件或调用服务。行为原则不能替代访问控制、最小权限配置或沙箱隔离。模型通过学习形成的不愿执行某项操作的倾向,与阻止该操作的技术机制并不是一回事。
批评本身也存在局限。一个有说服力的解释可能会错误地判定某条回复的性质,为偏好该回复编造理由,或忽略某种隐含后果。展示出来的推理只能作为模型在特定上下文中说了什么的证据,并不能保证准确揭示其内部决策过程的因果机制。
这些失效模式说明,区分规范与保障至关重要。宪法规定预期行为,而训练则提供一种促使模型采取这些行为的概率性机制。可靠性取决于独立测试、外围软件架构,以及模型的使用条件。
部署与实际运行
宪法式人工智能最直接的应用场景是对话助手,因为行为规范和训练过程中产生的材料都可以用自然语言表达。它可以帮助判断何时回答、何时请求澄清、何时表达不确定性,以及何时拒绝请求。它的作用并不限于拒绝行为:原则还可以涉及语气、尊重用户自主权、避免作出缺乏依据的个人评判,以及呈现不同观点。
在实际训练流程中,应将宪法视为需要进行版本管理的文档,而不是非正式的意向声明。措辞的变化可能影响生成的批评意见、偏好标签以及最终行为。因此,要实现可复现性,仅仅公开文档还不够。需要记录的相关信息包括评估器提示词、模型版本、采样设置、数据集构成、优化方案和评估流程。版本控制可以追踪文档的变化,但它本身无法追踪每次变更带来的所有后果。
宪法的变化不一定会立即反映在已部署系统的行为中。如果原则曾用于生成训练数据集,那么仅仅更新文本,并不会追溯性地改变该数据集或模型参数。系统可能需要重新生成样例、进行额外训练并开展回归测试。如果运行时也会提供宪法,已部署的助手可能暂时面临先前学到的行为与新指令不一致的情况。
面向特定领域的部署会带来额外的解释难题。对于总结法律材料、分析财务文件或解释科学发现的系统而言,“避免误导用户”这样的一般性原则可能并不充分。宪法这一组成部分可以指导信息的呈现方式和不确定性的表达,而领域准确性则由独立的事实资源和验证流程来保障。模型遵守行为原则,并不意味着其作出的实质性陈述已经过专业验证。
运行评估还需要区分模型变化与环境变化。即使底层权重没有任何改变,新的用户行为、新工具或不同的检索语料库也可能导致问题。监测可以揭示不当拒绝、不安全地遵从请求或对待方式不一致等行为模式,但收集对话数据本身也会带来相应的数据隐私义务。
因此,宪法式人工智能可以作为更大部署架构中的一个层次。输入处理、权限检查、检索系统、输出验证和转交人工处理的机制,可以应对通过训练学得的行为策略无法完全控制的风险。它们的作用相辅相成:宪法引导助手在训练中形成何种偏好,而外围控制措施则限制系统可以访问哪些资源、执行哪些操作。
权威、参与和尚未解决的研究问题
选择一套宪法原则会引出一个治理问题:谁有权规定助手的行为?一份表述清晰的文件能让某些规范性选择显现出来,但公开透明并不意味着这些选择具有正当性或已获得共识。提供商、客户、专业组织以及受系统影响的人,可能各有不同的期待。仅靠增加训练数据量或提高偏好预测器的准确率,无法解决这些分歧。
Anthropic 于 2023 年开展的“集体宪法式人工智能”(Collective Constitutional AI)项目探索了一种参与式方法。该项目与集体智能项目(Collective Intelligence Project)合作,利用 Polis 协商讨论平台,收集了美国约 1,000 人的意见,并据此制定模型宪法的原则。这项研究展示了将公众意见转化为训练所用材料的一种途径,但并未证明来自单一国家的一组参与者能够代表所有文化、解决所有分歧,或为所有后续部署提供授权。
参与还涉及如何汇总意见的选择。以多数支持、广泛共识、少数群体保护或专家设定的约束为依据,可能形成不同的文件。自然语言提案之间可能存在重叠或冲突,而将其转化为面向模型的简明指令,又会引入一层诠释。仅公布最终原则,并不能揭示参与者的意见是如何被筛选、整合或排除的。
一个相关的研究问题是,实施能否忠实体现原则。模型可能在熟悉的例子上表现良好,却在陌生情形下无法一致地运用某项原则。要评估模型是否学会了一种普遍适用的规范性区分,需要使用多样的反例、精心配对的案例,并开展跨语言、跨情境测试。即便如此,行为证据也只能支持针对已观察表现的有限结论,而不能提供不受限制的保证。
另一个尚未解决的问题是,如何在更新原则的同时,不破坏已有的有益行为。旨在纠正某一种失误的改动,可能引发新的拒答,或改变模型在无关领域的回答。这类似于更广泛的泛化问题:从有限例子中学会一条期望的规则,并不能确保模型会按预期处理每一种未见过的情况。因此,评估必须考察原则之间的相互作用,而不能只孤立地检查模型是否遵守每一项原则。
可扩展监督仍是推动这项研究的另一项动因,也是其局限所在。人工智能生成的反馈可以减少监督大量常规样例所需的人力,但随着系统能力不断增强,它们可能生成连评估者自身也无法可靠判断的输出。明确的原则有助于更清楚地说明期望,但不会自动提供必要的知识或推理能力,以判断复杂的回答、计划或行动是否符合这些期望。