组相对策略优化(Group Relative Policy Optimization,GRPO)是一种强化学习算法,通过比较针对同一输入生成的多个输出所获得的奖励来更新策略。深度求索在 2024 年的 DeepSeekMath 论文中提出了这一算法。它在近端策略优化(PPO)的基础上,用从一组采样输出中计算得到的统计量,取代通过学习得到的价值函数基线。GRPO 尤其常用于大语言模型的后训练,包括数学推理以及其他结果可自动检验的任务训练。
背景与动机
在用于语言生成的强化学习中,策略定义了下一个词元的概率分布。提示词提供初始上下文,生成的词元构成动作序列,而奖励用于评价最终回答或中间步骤。
策略梯度方法通过调整模型,提高与较高奖励相关的动作的概率。许多方法并不直接使用原始奖励,而是使用优势:估计某个动作或结果比适当的基线好多少。
PPO 通常通过一个学习得到的价值函数来获得这一基线,该价值函数也常被称为评判器(critic)。评判器根据状态预测未来的期望奖励,例如,状态可以由提示词及其后已生成的部分回答组成。训练和存储大型评判器可能显著增加计算与内存需求。
GRPO 则针对同一提示词生成多个回答,并利用这些回答的奖励构建相对基线。因此,它的核心比较发生在同一问题的不同候选回答之间,而不是将某个回答与单独学习得到的价值预测进行比较。
省去评判器并不意味着省去所有辅助模型。GRPO 训练系统仍可能需要奖励模型、冻结的参考策略,以及用于生成当前批次数据的策略。
组相对优势
设 为提示词, 为用于收集训练数据的策略。从中采样得到一组 个回答:
奖励函数为每个回答赋予一个标量分数 。组内均值和标准差可写为
一种常见的结果级优势估计为
其中, 是一个用于保证数值稳定性的小常数。不同实现可能采用不同的标准差计算约定,或以不同方式处理方差为零的组。
这种归一化使奖励高于平均值的回答具有正优势,低于平均值的回答具有负优势。在结果监督版本中,同一个回答级优势会赋给该回答中生成的每个词元:
例如,如果四个回答获得的二元正确性奖励为 ,则正确回答获得正优势,其余三个回答获得负优势。相对于为该提示词采样得到的其他回答,策略更新会提高正确回答的生成概率。
如果所有回答的奖励都相同,中心化后的奖励就全部为零。这样的组无法提供基于奖励的策略梯度信号,不过单独的正则化项仍可能影响更新。在这一公式下,仅包含一个回答的组同样无法产生非零的中心化优势。
GRPO 并不只是排序算法。奖励之间的差值仍然重要,只是归一化消除了组内奖励的共同尺度。其相对优势也不直接表示任务的绝对表现:即使所有回答都很差,某个回答仍可能因相对优于同组其他回答而受到强化。
策略目标
GRPO 将组相对优势与 PPO 式的概率比裁剪相结合。
对于词元 ,将其前文定义为 。正在优化的策略与生成该回答的策略之间的概率比为
一种代表性的目标函数为
其中:
- 控制裁剪区间。
- 控制参考策略正则化的强度。
- 是相对于参考策略的 Kullback–Leibler 散度惩罚项,或其估计量。
- 期望针对数据收集过程中采样得到的提示词和回答求取。
裁剪限制了相对于行为策略大幅改变某些词元概率所带来的优化收益,但它并不对策略的总体变化施加硬性界限。
参考策略惩罚项的作用则有所不同。它用于抑制模型过度偏离选定的参考分布,该分布通常来自通过监督学习或先前的微调得到的模型。参考策略与采样策略在概念上是不同的:采样策略提供概率比的分母,而参考策略定义正则化所针对的目标。
一些实现会修改序列长度归一化、优势缩放、裁剪或散度惩罚项。因此,一个声称使用 GRPO 的系统不一定严格采用上述目标函数。
训练流程
一次典型的训练迭代包括以下阶段:
- 选择提示词。 从任务的训练数据中抽取一个批次。
- 生成回答组。 使用当前采样策略,为每个提示词采样多个回答。
- 评价回答。 利用规则、执行结果、学习得到的评估器或多种信号的组合计算奖励。
- 计算优势。 对每个提示词对应的回答组,分别将奖励中心化,通常还会进行标准化。
- 更新策略。 在收集到的回答上优化带裁剪的目标函数,通常采用小批量训练,并进行多轮优化。
- 更新数据收集。 使用更新后的策略生成新的回答。
采样分布十分重要。生成温度、最大回答长度及其他采样控制参数,会影响组内回答的多样性,以及获得奖励不同的回答的可能性。组大小、裁剪阈值和正则化强度都是重要的超参数。
尽管一个批次可以用于多轮优化,GRPO 通常仍依赖于不断从持续变化的策略中收集新输出。它并不等同于在一组固定的旧回答上进行不受限制的训练。
奖励设计与监督
结果监督
结果监督为完整回答赋予奖励。例如,判断数学答案是否与经过验证的答案一致,或程序是否通过一组测试。
当最终结果的正确性比每个中间推理步骤的质量更容易可靠评估时,这种方法很有用。然而,为每个词元赋予同一个优势,只能进行粗粒度的信用分配:成功的回答可能包含不必要或错误的中间陈述,而失败的回答也可能包含许多有用的步骤。
过程监督
最初的 GRPO 研究还考虑了过程监督,即对中间推理步骤进行评价。优势可以纳入相对步骤奖励和后续累积奖励,而不是将一个最终分数均匀应用于整段回答。
过程监督可以提供更局部化的反馈,但需要足够可靠的步骤级评估器。它还涉及步骤边界、奖励聚合和归一化方式等选择。
基于学习与基于规则的奖励
GRPO 并不规定必须使用哪一种奖励来源。它可以使用学习得到的评估器、源自人类的偏好、确定性检查,或这些方式的组合。
因此,它与基于人类反馈的强化学习兼容,但本身并不要求人类反馈。通过自动检查答案来训练的系统,可以在没有人类偏好奖励模型的情况下使用 GRPO。
自动验证也有局限。通过有限的一组代码测试,通常并不能证明程序对所有输入都正确;在具备适当的形式化规约和证明过程时,形式验证能够提供另一种性质的保证。
发展与应用
GRPO 最早发表于 2024 年 2 月发布的论文《DeepSeekMath:探索开放语言模型数学推理的极限》(DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models)。该方法旨在提升数学推理能力,同时避免使用传统 PPO 训练中所需的额外评判器。
随着 DeepSeek-R1 于 2025 年 1 月发布介绍,GRPO 获得了更广泛的关注。相关研究在旨在提升推理能力的强化学习实验中使用了 GRPO。DeepSeek-R1-Zero 探索了不经过前期监督微调阶段的强化学习,而 DeepSeek-R1 的训练流程则包含初始监督数据和额外的训练阶段。
这些应用也说明,算法本身与完整训练流程应当区分开来。GRPO 规定的是奖励如何影响策略更新;它并不决定模型架构、提示词分布、验证系统或训练各阶段的完整安排。
典型应用领域包括数学解题、代码生成,以及具有可检验约束的结构化任务。其有效性取决于是否存在有用的奖励差异,以及奖励的提高能否转化为真实任务表现的提升。
与相关方法的比较
PPO。 GRPO 保留了 PPO 的裁剪式策略更新机制,但用组内奖励统计量取代了学习得到的评判器。这降低了与评判器相关的开销,但重复采样本身也会带来计算负担。此外,学习得到的评判器能够提供依赖于状态的估计,而单一的回答级组相对优势无法提供这种信息。
直接偏好优化。 直接偏好优化通常使用偏好目标,在较受偏好与较不受偏好的回答对上进行训练。相比之下,GRPO 会采样回答组、对其进行评价,并构建用于策略梯度更新的相对优势。两者都能使模型更倾向于生成较好的回答,但目标函数和数据收集流程不同。
监督微调。 监督微调会提高给定目标回答的生成概率。GRPO 则根据采样回答的相对奖励,提高或降低这些回答的生成概率。同一训练流程可以同时使用这两种方法。
局限性与对实现细节的敏感性
采样成本与奖励稀疏性
去掉评判器可以减少内存占用,但为每个提示词生成多个长回答仍然代价高昂。较大的组能增加观察到奖励差异的机会,同时也会提高神经网络推理成本。
过于简单或过于困难的提示词,可能产生组内所有回答奖励都相同的情况。这样的组几乎无法提供或完全无法提供基于奖励的学习信号。因此,提示词难度与策略探索对训练效率十分重要。
归一化的影响
组内归一化会改变各个样本对训练的贡献。除以组内标准差,实际上会依据观测到的奖励变异程度,改变不同提示词的权重。这也意味着,不应直接将这种更新视为未归一化期望奖励梯度的无偏估计。
由于组内统计量是根据有限样本估计的,较小的组可能产生噪声较大的优势估计。
长度与信用分配
为每个词元赋予相同的结果级优势,无法识别哪些推理决策导致了成功或失败。序列级平均、词元级平均以及回答长度限制,也会改变长短回答对目标函数的贡献。这些选择可能引入与长度相关的偏差。
不完善的奖励
GRPO 优化的是给定的奖励,而不是独立于该奖励的正确性。不够可靠的评估器可能诱发奖励黑客行为,例如利用答案格式规则或测试集的局限性。组相对比较并不能消除这一问题。
泛化与稳定性
训练奖励的提高,本身并不能证明模型能够泛化到新问题。评估必须区分真正学到的任务能力与过拟合、记忆以及基准数据污染。
训练稳定性还取决于采样多样性、奖励可靠性、裁剪、参考策略正则化,以及在每个已收集批次上执行的更新次数。裁剪是一种稳定训练的机制,并不保证收敛或性能单调提升。