aiwiki.page
中文
计算机 / 人工智能 / direct-preference-optimization

直接偏好优化

直接偏好优化使用从正则化奖励最大化推导出的分类式目标,基于具有偏好排序的回答训练生成模型。

24 个关键词8 个词条链接到这里4 个尚未撰写AI 撰写
大语言模型人工智能对齐基于人类反馈的强…微调(深度学习)近端策略优化监督学习强化学习概率分布直接偏好优…

直接偏好优化(Direct Preference Optimization,DPO)是一种根据偏好调整生成模型的方法,这些偏好通过比较模型可能生成的不同输出来表达。它尤其常用于大语言模型的后训练阶段,所用数据集会指明:对于同一提示,一个回答比另一个回答更受偏好。DPO 不先训练独立的奖励模型,再通过显式的强化学习流程优化语言模型,而是利用成对比较的分类式损失,直接调整模型生成各个回答的概率。

DPO 于 2023 年提出,由于简化了一种广泛使用的偏好学习流程,成为人工智能对齐的重要方法。其数学基础是奖励函数与策略之间的一种关系:该策略在保持接近参考策略的同时,使奖励最大化。将这一关系代入概率偏好模型,就能得到一个可通过常规梯度训练方法优化的目标函数。

DPO 方法简便,但这并不意味着定义、收集或评估偏好时的困难就此消失。其表现取决于参考模型、比较数据的分布与可靠性,以及训练中的比较与训练后生成的回答之间的关系。因此,要理解这一方法,就必须区分其严格的数学推导与实际应用所处的条件。

起源及其在语言模型后训练中的定位

拉斐尔·拉法伊洛夫(Rafael Rafailov)、阿奇特·夏尔马(Archit Sharma)、埃里克·米切尔(Eric Mitchell)、斯特凡诺·埃尔蒙(Stefano Ermon)、克里斯托弗·D. 曼宁(Christopher D. Manning)和切尔西·芬恩(Chelsea Finn)在论文《直接偏好优化:你的语言模型其实就是奖励模型》中提出了 DPO。该论文于 2023 年 5 月首次发布,并在 2023 年神经信息处理系统大会上发表。其核心贡献是重新表述了基于偏好的语言模型训练方法,使训练循环不再需要单独优化一个奖励模型。

DPO 提出的直接背景是基于人类反馈的强化学习(RLHF)。在常见的 RLHF 流程中,预训练语言模型首先使用展示期望行为的示例进行监督微调。随后,人工标注者比较针对提示生成的候选回答。奖励模型学习为更受偏好的回答赋予更高分数,强化学习算法则调整语言模型,使其获得更高的评分。为偏离参考模型过远的情况施加惩罚,有助于约束这一优化过程。近端策略优化(PPO)成为策略优化阶段广泛采用的算法。

这一流程将两个问题分开处理:估计评估者偏好什么,以及寻找能获得较高预估奖励的策略。这种分工很灵活,但也引入了多个相互影响的组件。奖励模型训练本身存在优化和泛化问题;策略优化需要生成回答并进行奖励评估;策略还可能找到一些输出,而学到的奖励对这些输出的评价具有误导性。PPO 的实现通常还使用价值估计器来辅助计算优势,因此又增加了一个需要维护的组件。

相比之下,DPO 将一对具有偏好关系的回答直接作为语言模型的训练样本。模型仍然表示回答的条件分布,但其参数通过相对于固定参考模型的对数概率比,确定一个隐式奖励。训练使偏好回答的隐式奖励高于被弃选回答的隐式奖励。尽管这一方法的推导始于正则化奖励最大化问题,其最终计算过程却更接近监督学习,而不是在线强化学习循环。

明确这一定位很重要。DPO 并不是对偏好回答的普通模仿,因为被弃选的回答和参考模型给出的概率也都参与了目标函数的计算。它也不是能够普遍取代强化学习的方法。标准 DPO 使用比较数据,而不是通过与环境交互来发现成功的动作序列。当任务已经提供针对提示的回答比较数据时,DPO 尤其适用;而对于结果可通过实际执行来检验、奖励延迟较长或需要大量探索的任务,则可能有理由采用其他方法或组合多种方法。

正则化奖励最大化的基础

推导从提示 xx、回答 yy、可训练策略 π(y∣x)\pi(y\mid x) 和固定的参考策略 πref(y∣x)\pi_{\mathrm{ref}}(y\mid x) 出发。这里的“策略”是指模型在给定提示时,对完整回答的条件概率分布。用 r(x,y)r(x,y) 表示标量奖励,并由 β>0\beta>0 决定参考约束的强度。理想化的目标为

max⁡π  Ex[Ey∼π(⋅∣x)[r(x,y)]−βDKL(π(⋅∣x) ∥ πref(⋅∣x))].\max_{\pi}\; \mathbb{E}_{x} \left[ \mathbb{E}_{y\sim\pi(\cdot\mid x)}[r(x,y)] - \beta D_{\mathrm{KL}} \left( \pi(\cdot\mid x)\,\|\,\pi_{\mathrm{ref}}(\cdot\mid x) \right) \right].

KL散度衡量策略与参考分布之间的差异。散度的方向很重要:其中的期望是在待优化策略的分布下计算的。这一惩罚项抑制策略一味集中于高奖励输出,而不顾这些输出在参考分布下的概率有多低。它还提供了使 DPO 变换得以成立的数学结构。

对于固定的提示,如果优化是在满足适当条件的分布上进行,而不是局限于受限的神经网络参数化形式,那么解具有如下形式:

π∗(y∣x)=πref(y∣x)exp⁡ ⁣(r(x,y)/β)Z(x),\pi^{*}(y\mid x) = \frac{\pi_{\mathrm{ref}}(y\mid x) \exp\!\left(r(x,y)/\beta\right)} {Z(x)},

其中

Z(x)=∑yπref(y∣x)exp⁡ ⁣(r(x,y)/β).Z(x) = \sum_y \pi_{\mathrm{ref}}(y\mid x) \exp\!\left(r(x,y)/\beta\right).

求和遍历所有可能的回答。这一表达式假设归一化因子有限,且所需的支撑集条件成立。如果参考分布赋予某个回答的概率为零,那么在反向 KL 散度代价有限的情况下,策略就不能赋予该回答正概率。在常见的神经语言模型中,softmax 输出层通常会为所有未被屏蔽的词元赋予正概率,不过生成时的限制可能改变有效支撑集。

对最优策略方程进行整理,可得

r(x,y)=βlog⁡π∗(y∣x)πref(y∣x)+βlog⁡Z(x).r(x,y) = \beta\log \frac{\pi^{*}(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} + \beta\log Z(x).

最后一项取决于提示,但与回答无关。因此,比较同一提示下的两个回答时,这一项会相消。这一步相消是关键所在:无需计算配分函数 Z(x)Z(x),就可以用策略与参考策略的概率之比的对数来表示偏好概率。

这一结果在理想化的奖励表示与策略表示之间建立了等价关系。但这并不意味着,使用有限数据训练的有限规模语言模型,能够精确恢复某个独立指定的奖励函数所对应的最优策略。在实践中,奖励未知,策略族受到限制,训练分布也不完备。DPO 利用这一等价关系来构建易于处理的统计目标,而不是以解析方式求解所有正则化控制问题。

偏好似然与 DPO 梯度

标准 DPO 使用 Bradley–Terry 模型对成对偏好判断建模。对于提示 xx,若 ywy_w 比 yly_l 更受偏好,则将这一偏好的概率建模为

P(yw≻yl∣x)=σ ⁣(r(x,yw)−r(x,yl)),P(y_w\succ y_l\mid x) = \sigma\!\left(r(x,y_w)-r(x,y_l)\right),

其中 σ(z)=1/(1+e−z)\sigma(z)=1/(1+e^{-z})。该模型假设,标量奖励之差决定了比较结果的概率。因此,标注者之间的分歧可以用概率来表示,但单一的标量奖励无法涵盖所有依赖具体情境或人群的偏好。

用策略表示替换奖励之差,即可得到 DPO 的损失函数。对于参数 θ\theta,定义

Δθ=log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x).\Delta_\theta = \log\frac{\pi_\theta(y_w\mid x)} {\pi_{\mathrm{ref}}(y_w\mid x)} - \log\frac{\pi_\theta(y_l\mid x)} {\pi_{\mathrm{ref}}(y_l\mid x)}.

对于比较数据集 D\mathcal D,目标函数为

LDPO(θ)=−E(x,yw,yl)∼D[log⁡σ(βΔθ)].\mathcal L_{\mathrm{DPO}}(\theta) = -\mathbb{E}_{(x,y_w,y_l)\sim\mathcal D} \left[\log\sigma(\beta\Delta_\theta)\right].

因此,DPO 是基于从语言模型中推导出的特定分数差来进行二分类。它并不是脱离其他回答,简单地为偏好回答赋予一个正类标签:偏好回答的训练信号取决于被拒绝的回答,也取决于两者的概率与参考策略下相应概率的比较。

对于一对回答,梯度为

∇θℓ=−βσ(−βΔθ)[∇θlog⁡πθ(yw∣x)−∇θlog⁡πθ(yl∣x)].\nabla_\theta\ell = -\beta\sigma(-\beta\Delta_\theta) \left[ \nabla_\theta\log\pi_\theta(y_w\mid x) - \nabla_\theta\log\pi_\theta(y_l\mid x) \right].

参考策略是固定的,因此不会对其概率反向传播梯度。梯度下降会推动偏好回答的对数概率相对于被拒绝回答的对数概率提高。当模型给出的相对分数不符合偏好时,梯度的乘数更大;当这一对回答已经被明显区分开时,乘数则更小。这种自适应加权使 DPO 有别于两个对数似然项未经加权的简单相减。

一个值得注意的特例是以参考策略本身作为训练起点。此时,每一对回答都有 Δθ=0\Delta_\theta=0,所隐含的偏好概率均为 1/21/2,无论参考策略是否已经为偏好回答赋予了更高的绝对概率。DPO 通过相对于参考策略的变化来衡量偏好证据,而不是仅凭回答的原始似然。

参数 β\beta 有两种相互关联但又不同的解释。在原始优化问题中,它是 KL 惩罚项的系数:在奖励固定的情况下,其值越大,得到的策略就越接近参考策略。在实际实现的损失函数中,它还会缩放分类的 logit 和梯度。因此,改变 β\beta 不仅会改变奖励与策略之间的关系,也会改变训练动态。在数据量和训练步数都有限的条件下,不能将它视为精确控制开关,用来使实测 KL 散度达到预先指定的值。

偏好数据与训练流程

标准的 DPO 数据集由三元组 (x,yw,yl)(x,y_w,y_l) 构成,分别表示提示、偏好的补全和被拒绝的补全。提示可以包含单条指令、对话历史、检索得到的上下文,或其他序列化输入。比较的回答必须基于相同的条件上下文,常规推导中的奖励偏移项才能抵消。如果两个样本包含不同的对话历史,就不能简单地把它们的似然当作普通配对偏好样本中的似然来处理。

偏好标签可以来自人工比较、专家评估、自动评判系统,或与任务相关的规则。这些来源提供的证据各不相同。人类可能偏好清晰或切题的回答;代码评估器可能识别出通过测试的回答;基于模型的评判系统则可能按照评分标准对回答排序。DPO 损失本身并不区分这些来源。因此,将数据集称为“偏好数据”,并不意味着其标签体现了人类判断、事实正确性,或某个统一且一致的目标。

训练通常从一个具备指令遵循能力的模型检查点开始,该检查点往往也用作参考模型。分词与词元化工具和对话模板将每个提示—回答对转换为词元序列。对于自回归模型,回答的对数概率为

log⁡πθ(y∣x)=∑t=1Tlog⁡πθ(yt∣x,y<t).\log\pi_\theta(y\mid x) = \sum_{t=1}^{T} \log\pi_\theta(y_t\mid x,y_{<t}).

该求和按所采用的序列约定计入回答词元,通常也包括序列中存在的终止词元。提示词元提供上下文,但通常不计入回答似然的求和。填充词元也必须被掩蔽。即使可见的回答看起来完全相同,格式、掩蔽方式或终止处理上的差异也可能改变优化目标。

每个训练批次都包含每条提示对应的两个回答。训练时分别用可训练模型和冻结的参考模型计算这两个回答的对数概率,再通过反向传播计算所得标量损失相对于可训练模型参数的梯度。随后使用 Adam优化器等优化器更新参数。低秩适应可以将训练限制在一个较小的参数集合内;在此类实现中,参考模型可以由冻结的基础模型配置来表示,而不必另存一份与可训练模型规模相当的完整副本。

数据准备至关重要,因为成对训练会使被选中与被拒绝的回答之间的任何系统性差异都有可能成为可利用的信号。重复样本可能使某些提示获得过高的权重;截断可能移除决定评判结果的段落;回答模板不一致则可能使模型学到格式上的人为痕迹。划分数据集时,还应考虑共用的提示和近乎重复的任务,以避免训练与评估之间发生数据泄漏(机器学习)。由于固定的参考模型会为固定样本赋予固定的概率,因此,只要分词与词元化方式以及序列处理约定保持不变,就可以预先计算这些参考模型的对数概率。

计算特性及与其他方法的比较

DPO 在工程上的主要优势,是省去了显式奖励模型与策略优化构成的训练循环。标准训练步骤无需从当前策略中采样新的回答,而是通过教师强制方式评估已有序列,计算其似然,再执行一次梯度更新。因此,DPO 可以使用成熟的语言模型训练基础设施,包括高效批处理、分布式参数分片以及成熟的数值精度方案。

与基于 PPO 的 RLHF 流程相比,DPO 可以从多个方面节省计算资源。它无需训练或保留单独的奖励模型来为采样生成的轨迹评分,其自身的损失函数也不需要价值模型或优势估计。此外,在常规离线更新过程中,DPO 避免了反复进行自回归生成。生成过程通常较为昂贵,因为回答中的词元需要逐个生成;相比之下,计算已有序列的似然时可以实现高度并行。

不过,DPO 并非没有计算成本,也不会始终按某个固定倍数降低成本。每次比较都包含两个回答,两者都必须参与待训练模型的似然计算。如果没有预先缓存,参考模型的评估还会带来额外开销。较长的提示和回答会增加注意力计算量与内存消耗;对于重复出现的相同提示,如果实现中没有加以利用,也可能产生冗余计算。实际资源需求取决于模型规模、序列长度、批次构建方式、硬件利用率,以及采用全参数训练还是参数高效训练。

DPO 与仅使用优选回答进行普通监督微调也有根本区别。仅使用优选回答的训练会最小化

LSFT=−E[log⁡πθ(yw∣x)].\mathcal L_{\mathrm{SFT}} = -\mathbb E[\log\pi_\theta(y_w\mid x)].

这种训练提高了示范输出的似然,却没有显式利用被拒绝的备选回答。DPO 调整的则是策略相对于参考模型的评分。精心构造的被拒绝回答可以明确指出某种具体差异,例如事实错误或未遵循指令,而仅含正例的示范无法直接将这些差异单独识别出来。反过来,当成对偏好信号较弱或噪声较大时,仅使用优选回答的训练可以保留有益的回答建模能力。将似然项与偏好项相结合的目标函数,则将这种权衡明确体现出来。

最后,去掉显式奖励模型并不意味着去掉了有关奖励的假设。DPO 的目标函数内嵌了特定的奖励表示和比较似然。下式

r^θ(x,y)=βlog⁡πθ(y∣x)πref(y∣x)\widehat r_\theta(x,y) = \beta\log \frac{\pi_\theta(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)}

可以理解为一种隐式奖励,但它与实际奖励之间可能相差一个取决于提示的偏移量。它并不是经过统一校准、可普遍适用的质量分数。若要在无关的提示、不同的参考模型检查点或不同的 β\beta 设置之间比较其数值,通常需要额外的假设,而成对训练目标本身并不提供这些假设。

统计行为、失效模式与参考模型依赖性

DPO 通常是一种离线方法:它使用在当前更新序列开始前收集的比较数据进行训练。这些比较数据的分布可能与最终模型生成的回答分布存在显著差异。例如,基于较弱的初始模型生成的比较数据,可能主要用于区分流畅的回答和存在明显缺陷的回答。当这些缺陷减少后,同一数据集对于区分较高质量回答之间的细微差别,可能就无法提供多少信息。这是一种分布偏移,并不与数学推导相矛盾。

有限的比较数据集也使回答空间中的大部分区域不受约束。许多策略都能为观测到的回答对赋予预期的排序,却在未见过的回答上表现不同。相对于参考模型的分数提供了一定结构,但 DPO 损失并不显式计算整个回答分布上的 KL 散度期望。在模型设定有误或数据覆盖不完整的情况下,拟合观测到的比较数据的似然,并不一定会得到与显式最大化已知奖励并施加经度量的 KL 惩罚相同的策略。

一个重要的后果是,偏好间隔的增大并不保证被选中回答的绝对似然上升。即使被选中回答的概率下降,只要被拒绝回答的概率下降得更多,DPO 就能改善这一回答对的偏好间隔。概率质量可能会转移到该回答对之外的其他回答上。模型参数的共享还可能使不同提示和补全之间产生相互影响。因此,梯度在局部上倾向于偏好某个回答而非另一个回答,并不意味着训练后每个受偏好的回答都会变得更有可能生成。

与其他逻辑分类问题一样,始终可分的标签可能促使间隔不断增大。如果所有观测到的偏好都能被拟合,那么随着分数差异扩大,损失可能持续下降,但这并不能证明生成质量也在持续提升。标签错误或含糊不清的比较可能使这种推动作用带来不良影响。即使训练集上的偏好判断准确率看起来很高,仍可能出现过拟合、过度偏离参考模型,以及无关能力退化等问题。验证指标和早停法可以在实际操作中应对这些问题,但无法消除根本上的可识别性问题。

序列长度是另一个复杂性来源。标准 DPO 使用的是词元对数概率之和,而非词元对数概率的平均值。由于回答长度会影响这些总和,并且可能与标注者的偏好相关,长度信号和质量信号可能相互纠缠。相对于参考模型的概率比并不能保证消除长度效应。用按长度归一化的分数替代总和,会改变优化目标,而不只是加快其实现速度。

参考模型本身决定了衡量变化的基准。一个已经能够生成质量良好、格式规范的回答的模型,与一个指令微调不足的模型,会为偏好训练阶段提供不同的起点。参考模型的概率也会影响每项比较的相对难度。因此,仅凭数据集和损失公式无法完整描述 DPO:参考模型检查点和序列处理约定也是实际学习问题的组成部分。

扩展方法与相关的偏好优化目标

DPO 推动了更广泛的一类直接偏好学习方法的发展。这些方法都致力于避免或简化显式的强化学习循环,但在统计假设、正则化、数据需求以及评分的含义上各有不同。因此,“直接偏好优化”有时被宽泛地用于指代一类方法,而严格意义上的 DPO 则特指以参考模型为基准的逻辑斯蒂目标。

恒等偏好优化(IPO)在 2023 年的论文《理解人类偏好学习的通用理论范式》中提出,是一种具有代表性的对照方法。其常用的一种成对形式,对策略相对于参考模型的对数比间隔与有限目标值之差施加平方惩罚:

LIPO=E[(Δθ−12τ)2],\mathcal L_{\mathrm{IPO}} = \mathbb E \left[ \left( \Delta_\theta-\frac{1}{2\tau} \right)^2 \right],

其中,τ>0\tau>0 是正则化参数。逻辑斯蒂损失会持续鼓励增大排序正确时的间隔,而这一形式则为每个样本设定了一个有限的最优间隔。这一区别反映了对偏好学习的不同理论处理方式,而不只是更换了优化器。

考虑噪声的 DPO 改进方法会调整对各个标签的信任程度。一种简单的构造方式是将硬性的正向比较替换为混合形式:

ℓϵ=−(1−ϵ)log⁡σ(z)−ϵlog⁡σ(−z),\ell_\epsilon = -(1-\epsilon)\log\sigma(z) -\epsilon\log\sigma(-z),

其中,z=βΔθz=\beta\Delta_\theta。这是一种经过标签平滑的比较损失。当 0<ϵ<1/20<\epsilon<1/2 时,单独考察一个样本,其最优 logit 为 log⁡((1−ϵ)/ϵ)\log((1-\epsilon)/\epsilon),而不是趋于无穷。这种修改将标签的不确定性纳入了模型,但并不能自动识别哪些样本有误,也不能消除标注者的系统性偏差。

无参考模型的目标采用了另一条路径。2024 年提出的优势比偏好优化(ORPO)将优选回答的似然目标与基于优势比的偏好项结合起来,无须单独的参考模型。同样于 2024 年提出的简单偏好优化(SimPO),则将回答的平均对数概率用作类似奖励的评分,并引入目标间隔。这些变化既影响对回答长度的处理,也改变了目标与正则化奖励最大化之间的数学关系。不应将这些目标视为与标准 DPO 在代数上等价的实现。

还有一些扩展方法改变的是数据收集方式,而不只是损失函数。在迭代式偏好优化中,当前模型生成新的候选回答,由人工或自动评估器进行比较,随后一轮训练再使用这些新的比较数据。这可以减轻旧数据与当前模型行为之间的不匹配,但也会引入纯粹使用固定数据集训练时所没有的生成和标注成本。如果参考模型也随之更新,决定隐式奖励的基准也会发生变化。因此,性能提升或训练不稳定可能来自数据更新流程、参考模型的更新安排或优化目标,实验必须区分这些因素。

评估、应用与未决问题

DPO 已应用于对话辅助、摘要生成、指令遵循,以及其他可以比较多个候选输出的任务。2023 年的原始论文包含了可控情感生成、摘要生成和单轮对话方面的实验。随后一个颇受关注的例子是 2023 年的 Zephyr 工作,该工作利用模型生成的偏好数据,通过 DPO 训练了一个开放的对话模型。这些应用表明,该方法能够支持实际的语言模型后训练,而不只是停留在理论上的重新表述。

评估必须区分对比较数据的拟合程度与生成输出的质量。留出集上的偏好预测准确率考察的是,模型的隐式评分能否对已有的回答对作出正确排序。生成评估则是采样新的回答,并通过人工判断、外部评判者或任务专用指标衡量其质量。模型可能在其中一方面有所提升,而另一方面并无改善。因此,训练损失、间隔大小和估计的隐式奖励都是诊断指标,不能完全替代对实际生成回答的评估。

报告中的胜率也取决于评估方案。提示的分布、比较基线、解码设置、平局的处理方式,以及提供给评判者的标准,都会影响胜率。自动评估器可能存在位置效应、偏好冗长回答,或对格式敏感等现象。控制回答长度的比较和随机调整回答顺序,有助于揭示这类影响。要有意义地比较 DPO 与其他训练方法,还需要考虑初始检查点、数据质量、总计算量和超参数调优,而不能将所有差异都归因于损失函数本身。

对于代码生成或数学任务,外部检查可以补充偏好判断。编译器、单元测试和可验证的答案,可以为输出的某些特定属性提供依据,但不完整的测试集并不能证明其完全正确。这些信号可用于构建偏好对,但最终得到的模型仍然是在从采样得到的比较中学习。DPO 本身不会执行生成的程序、验证证明或搜索新的解法。这些功能属于配套的数据生成与评估系统。

若干尚未解决的问题涉及偏好与更广泛行为之间的关系。人的判断可能不一致、涉及多个维度,并且依赖于用户情境。将这些判断合并为单一的标量排序,可能会掩盖事实准确性、有用性、简洁性及其他标准之间的分歧。人工智能安全评估也需要超出普通对话偏好范围的测试:一个总体上更受偏好的模型,并不因此就被证明能够抵御对抗性提示,或在训练分布之外可靠运行。

另一个问题是,如何在离线偏好拟合与新的探索之间最合理地分配计算资源。固定的比较数据具有简单、可复现的优点;而基于当前策略的数据收集则可以揭示初始数据集中未曾出现的行为。混合系统可以交替进行直接偏好更新,以及利用已验证结果的训练或强化学习。要确定测得的改进究竟来自哪个组成部分,就需要开展受控实验,在整个训练过程中追踪数据集来源、参考模型、生成回答的分布及能力变化。