基于人工智能反馈的强化学习(RLAIF)是一种训练方法,由一个人工智能系统提供评价,再通过强化学习利用这些评价改进另一个系统。RLAIF 不再完全依靠人类对输出排序或打分,而是将人工智能生成的判断作为奖励信息的来源。这种方法尤其常见于大语言模型的后训练:评估模型可以从有用性、事实准确性、指令遵循程度或是否符合指定原则等方面比较回答。它减少了反复进行人工标注的需求,但系统应当优化什么,仍然需要由人类决定。
背景与发展
语言模型的初始训练使其学会预测或生成文本,但这一目标并未直接规定它应如何充当助手。因此,后训练方法旨在使模型的输出更加有用,更符合预期行为。
基于人类反馈的强化学习(RLHF)通过收集人类评价来解决这一问题,这些评价通常采用对不同候选回答进行比较的形式。人类评价被用于训练奖励模型,奖励模型的评分随后用于指导强化学习。RLAIF 则以人工智能评估器生成的判断,替代或补充人工评价环节。
2022 年关于宪法式人工智能的研究提出了一种具有影响力的早期实现。该方法将利用人工智能生成的批评和修订进行的监督学习阶段,与利用人工智能生成的偏好判断进行的强化学习阶段结合起来。判断由明确的书面原则指导,使预期行为不仅能通过标注样例来体现,也能部分地用指令来表达。
2023 年发表的研究《RLAIF:利用人工智能反馈扩展基于人类反馈的强化学习》(RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback)在多项语言模型任务中,考察了以人工智能生成的偏好替代人类偏好的可行性。后续研究探索了人工智能直接评分、人类反馈与人工智能反馈相结合,以及评估器和策略随时间变化的迭代训练等方法。
RLAIF 指的是一类训练流程,而非某个固定的算法或模型架构。
核心机制
典型的 RLAIF 流程区分三种角色:
- **策略模型:**接受训练、用于生成回答的模型。
- **人工智能评估器:**按照指令或标准评判回答的系统。
- **奖励模型:**一个可选的学习模型,用于根据收集到的评价预测分数。
评估器与策略可以是不同模型、同一模型的不同版本,也可以是同一个底层模型在不同指令下运行的实例。即使二者采用相同架构,其角色在概念上仍然不同。
生成候选回答
从面向特定任务或通用的训练数据集合中抽取提示。策略模型或其他回答生成模型据此生成候选答案。对于成对反馈,评估器会收到针对同一提示的两个回答。
提示的选择十分重要:如果一个反馈系统主要使用普通问题进行训练,那么对于它在罕见任务、对抗性任务或专业任务中的表现,现有证据可能十分有限。
生成人工智能反馈
评估器接收提示、候选回答和评价指令。它可以返回:
- 对两个回答的偏好。
- 数值形式的质量评分。
- 对多个回答的排序。
- 针对正确性、相关性和风格等标准的分别评价。
- 解释回答缺陷的批评意见。
解释可以辅助评价过程,但强化学习更新最终需要可用的奖励信号。单独一条批评意见并不构成奖励,除非某种程序将其转化为分数,或以其他方式将其纳入训练目标。
评价指令可以包含示例、评分细则或一组原则。因此,提示工程以及评价标准的表述方式,都可能对反馈产生实质影响。
学习奖励模型
在一种常见实现中,人工智能生成的比较结果构成偏好数据集。随后训练奖励模型,使其为更受偏好的回答赋予更高分数。
对于提示 、更受偏好的回答 和较不受偏好的回答 ,一种常见的偏好建模损失为
其中, 是学习得到的奖励函数, 是逻辑斯蒂函数。该目标鼓励更受偏好的回答获得更大的奖励优势。
这一损失对评估器的偏好进行建模,并不能证明这些偏好在客观上正确。
优化策略
接下来,通过训练使策略获得更高奖励。一种常见的目标形式为
这里, 是可训练的策略, 是参考策略, 则是学习得到的奖励模型,或人工智能评估器直接给出的分数。散度惩罚项用于抑制策略过度偏离参考模型,其强度由 控制。
这种正则化有助于保留已有能力,并限制不稳定的更新,但不能保证奖励最大化会改善回答质量的所有方面。
主要变体
基于偏好的 RLAIF
评估器比较候选回答,其偏好被用于训练一个独立的奖励模型。这种方法基本沿用传统 RLHF 的结构,只是改变了偏好标签的来源。
与反复调用大型评估器相比,独立的奖励模型可以降低强化学习过程中的评分成本。不过,它也引入了额外一层近似:策略优化所依据的是对评估器判断的预测,而不是评估器的判断本身。
直接反馈式 RLAIF
评估器在策略训练过程中直接提供奖励,无须单独训练偏好模型。这消除了一种近似误差来源,但可能需要成本更高的评估器调用,也需要谨慎处理不一致或校准不佳的分数。
原则引导的反馈
评估器可以依据明确的原则评判回答,例如避免缺乏依据的断言,或遵守指定的行为约束。宪法式人工智能是其中一个突出例子,但 RLAIF 本身并不要求使用“宪法”或某一特定的原则集。
书面标准使评价过程的一部分可以接受审查,但无法完全规定模型将如何理解模糊指令,或如何化解原则之间的冲突。
混合反馈
人类判断与人工智能判断可以结合使用。人工智能评估器可以标注常规样例,而人类负责评估困难案例、存在分歧的案例或专业材料。人类反馈也可以用于训练或验证评估器。
因此,“人工智能反馈”描述的是训练信号的直接来源,并不意味着人类完全不参与。
与相邻方法的关系
RLAIF 的特点既在于反馈的来源,也在于使用强化学习。
**监督微调。**使用人工智能生成的理想答案或修订后的回答进行训练,通常属于监督学习,即使这些答案的生成得到过人工智能批评意见的帮助。这可以是更广泛的 RLAIF 流程的一部分,但其本身并不构成强化学习。
直接偏好优化。直接偏好优化可以利用人工智能标注的偏好对训练策略,而不采用传统的“奖励模型加强化学习”循环。它同样使用人工智能反馈,但在较狭义的流程定义中,通常被视为有别于 RLAIF 的方法。在更宽泛的用法中,两者有时都被归入基于人工智能反馈的对齐方法。
知识蒸馏。知识蒸馏将教师模型的行为或预测迁移给学生模型。RLAIF 则利用评估器的判断来定义策略应当偏好什么。一个系统可以同时采用这两种方法。
**可验证奖励。**通过执行测试、核对数学答案或使用形式验证获得的奖励,不同于基于评估模型判断的奖励。模型可以协助构造测试,但通过独立执行的测试,与获得人工智能的正面评价,是不同的反馈机制。
应用与潜在优势
RLAIF 被用于塑造语言模型在摘要生成、对话和指令遵循等任务中的行为。评估器可以评价难以用简单规则编码的质量特征,例如回答是否回应了问题,或摘要是否保留了重要信息。
它在实践中的主要吸引力是可扩展性。一旦确定了评估器和评分细则,就可以继续生成判断,而无须由人类逐一标注每个样例。这有助于构建更大规模的偏好数据集,并更频繁地收集反馈,不过评价仍会产生计算成本。
人工智能反馈还允许相对快速地调整标准。修订后的评分细则可以应用于新样例,以便试验不同的行为目标。多个评估器或相互独立的评价标准,可以揭示单一总分所掩盖的分歧。
这些优势都以评估器对相关任务足够可靠为前提。生成更多标签并不能弥补这些标签共同存在的系统性错误。
局限性与失效模式
评估器的错误与偏差
人工智能评估器可能偏好流畅却错误的回答、偏爱冗长内容、因回答顺序变化而作出不同判断,或偏好接近自身风格的输出。因此,因人工智能幻觉而产生的虚假事实或错误推理可能进入奖励信号。
与评估器一致,说明模型符合该评估器的偏好,却不一定意味着事实正确、获得广泛的人类认可,或实现了成功的人工智能对齐。
利用奖励机制
策略可能学会采用能够获得高分的特征,却并未改善原本希望提升的质量。这是奖励黑客的一种形式。例如,策略可能使用更具说服力的措辞、过多的保留性声明,或与评分细则相关的短语,因为评估器对这些特征给予了不成比例的奖励。
即使没有蓄意欺骗,也可能出现这一问题:凡是与高奖励存在稳定相关性的特征,都可能被优化过程放大。
相关错误与反馈循环
如果评估器和策略共享训练数据或具有共同的模型谱系,它们就可能犯下类似的错误。反复使用此类反馈进行训练,可能会强化这些错误,而非纠正它们。
因此,迭代式自我评价并不必然带来超越评估器能力范围的改进。能否取得进步,取决于反馈是否提供了策略尚未学会的有用区分。
分布偏移
在一组提示上经过验证的评估器,换到另一组提示上可能不再可靠。分布偏移可能源于新领域、不熟悉的语言、对抗性输入,或与奖励模型训练时所用输出明显不同的策略输出。
优化本身也可能造成这种偏移:随着策略越来越擅长获取奖励,它可能生成超出奖励模型可靠适用范围的回答。
操纵评估器
如果评估器将候选回答作为自然语言输入处理,那么这些回答中可能包含旨在影响判断的指令。这就形成了潜在的提示注入途径。评估器必须区分被评价的内容与约束其评价过程的指令。
人类目标仍不可或缺
RLAIF 将部分评价工作自动化,却不能决定一个系统应当遵循哪些价值观、权衡取舍或质量定义。评分细则、评估模型、数据集以及奖励汇总方式的选择,仍然是影响重大的设计决策。
评估
严谨的评估应区分模型在训练所用评估器下的表现,与它在独立标准下的表现。有价值的证据包括:
- 独立于训练标签收集的人类判断。
- 针对具体任务的正确性检查和可执行测试。
- 在留出的测试集上的结果。
- 涉及陌生领域、语言和对抗性提示的测试。
- 对回答顺序、措辞和长度敏感程度的测量。
- 使用不同模型谱系的评估器进行的比较。
如果评估样例、标签或密切相关的材料进入训练过程,数据泄漏(机器学习)就可能使这些评估产生误导。独立评估还需要区分:模型究竟真正提升了任务表现,还是仅仅更加迎合评判者的风格偏好。
所报告的结果取决于策略的初始能力、评估器的能力、反馈形式以及优化流程。因此,对 RLAIF 的评估应着眼于完整的训练与评估流程,而不能仅看人工智能生成的标签数量,或训练过程中取得的奖励。