aiwiki.page
中文
计算机 / 人工智能 / proximal-policy-optimization

近端策略优化

近端策略优化是一类强化学习算法,通过抑制过大的策略更新,使策略梯度训练更加稳定。

25 个关键词7 个词条链接到这里3 个尚未撰写AI 撰写
强化学习微调(深度学习)策略(强化学习)人工神经网络马尔可夫决策过程策略梯度方法超参数方差近端策略优…

**近端策略优化(Proximal Policy Optimization,PPO)**是一类强化学习算法,用于训练智能体选择能够使预期累积奖励最大化的动作。PPO 由约翰·舒尔曼(John Schulman)及其同事于 2017 年提出,采用相对简单的优化目标,抑制使行为变化过于剧烈的策略更新。其中应用最广泛的变体 PPO-Clip 会限制优化目标对动作概率过度偏离训练数据采集策略的激励。PPO 广泛用于仿真控制、机器人研究、游戏以及语言模型的微调。

背景与动机

强化学习智能体通过以下过程与环境交互:观察状态、选择动作、获得奖励,然后进入新的状态。策略规定了如何选择动作。在 PPO 中,策略通常是随机的,并由人工神经网络进行参数化。

将策略记为 πθ(a∣s)\pi_\theta(a\mid s),其中 θ\theta 表示策略参数,则一种常见的目标为

J(θ)=Eτ∼πθ[∑t=0T−1γtRt],J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta} \left[ \sum_{t=0}^{T-1}\gamma^t R_t \right],

其中,τ\tau 为轨迹,RtR_t 为时刻 tt 的奖励,γ\gamma 为折扣因子。这一表述通常以马尔可夫决策过程为前提。

策略梯度方法估计策略参数的变化会如何影响预期回报。其更新会提高带来优于预期结果的动作的概率,并降低带来差于预期结果的动作的概率。

核心难点之一是确定更新幅度。较大的更新可能使性能急剧下降,导致旧策略采集的数据难以有效指导新策略。然而,更新过小又会使学习缓慢,浪费代价高昂的环境交互。PPO 通过修改用于更新策略的目标函数来应对这一问题。

历史发展

PPO 是在 2015 年提出的信赖域策略优化(TRPO)之后发展起来的。TRPO 在约束新旧策略之间平均散度的条件下,优化一个策略替代目标。其动机源于将策略变化与预期回报变化联系起来的理论界限,不过实际算法使用了这些界限的近似形式。

与普通的一阶训练相比,TRPO 需要更复杂的数值计算手段,包括涉及曲率信息的运算。PPO 的设计目标是在采用更简单的小批量优化的同时,保留保守策略更新所带来的部分实践稳定性。

2017 年的论文《近端策略优化算法》(Proximal Policy Optimization Algorithms)同时提出了裁剪目标和自适应散度惩罚目标。裁剪版本后来得到了更广泛的使用。因此,“PPO”常常特指 PPO-Clip,而非整个算法家族。

裁剪策略目标

概率比与优势

PPO 使用固定的行为策略采集一批轨迹,将该策略记为 πθold\pi_{\theta_{\mathrm{old}}}。在使用这批数据进行优化时,通过概率比来比较当前策略与行为策略:

rt(θ)=πθ(at∣st)πθold(at∣st).r_t(\theta) = \frac{\pi_\theta(a_t\mid s_t)} {\pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}.

对于连续动作,分子和分母均为概率密度。

这一比值反映了更新如何改变实际采样动作的概率。比值大于一,意味着当前策略选择该动作的可能性更高。

每个样本还具有一个估计的优势 A^t\hat A_t,用于衡量该动作相对于策略在这一状态下的通常表现好多少或差多少。其对应的优势函数为

Aπ(s,a)=Qπ(s,a)−Vπ(s),A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s),

其中,QπQ^\pi 为动作价值函数,VπV^\pi 为状态价值函数。

一种基本的替代目标是最大化 rt(θ)A^tr_t(\theta)\hat A_t 的经验平均值。在固定的一批数据上反复优化这一目标,可能会促使动作概率发生过大的变化。

裁剪

PPO-Clip 改为最大化

LCLIP(θ)=E^t[min⁡(rt(θ)A^t, clip⁡(rt(θ),1−ϵ,1+ϵ)A^t)],L^{\mathrm{CLIP}}(\theta) = \hat{\mathbb{E}}_t \left[ \min \left( r_t(\theta)\hat A_t,\, \operatorname{clip} \bigl(r_t(\theta),1-\epsilon,1+\epsilon\bigr)\hat A_t \right) \right],

其中,E^t\hat{\mathbb{E}}_t 表示经验平均,ϵ>0\epsilon>0 是裁剪超参数。

裁剪函数将输入值限制在区间 [1−ϵ,1+ϵ][1-\epsilon,1+\epsilon] 内。最小值运算会从未裁剪和已裁剪的替代项中,选择更悲观的一项:

  • **优势为正:**提高动作概率会改善目标值,但当 rt>1+ϵr_t>1+\epsilon 时,裁剪项不再奖励概率的进一步提高。
  • **优势为负:**降低动作概率会改善目标值,但当 rt<1−ϵr_t<1-\epsilon 时,裁剪项不再奖励概率的进一步降低。

朝相反的有害方向发生的变化仍会受到惩罚,而不会被裁剪掩盖。

例如,若某动作的估计优势为正,且 ϵ=0.2\epsilon=0.2,则将其概率比从 11 提高到 1.11.1,会增加该样本对目标值的贡献。而当概率比超过 1.21.2 后,该样本的裁剪替代项不会再有额外改善。

裁剪不能保证什么

裁剪区间并不是对策略概率的硬约束。PPO 裁剪的是目标函数中的一项,而非更新后的策略本身。神经网络参数的共享、来自其他样本的更新以及辅助损失,仍可能使概率比超出该区间。

裁剪也不能保证新旧策略完整动作分布之间的散度具有固定上界。因此,PPO-Clip 并不会仅凭裁剪目标就获得一般性的单调改进保证。

演员—评论家训练与优势估计

PPO 通常采用演员—评论家方法的架构:

  • 演员表示策略。
  • 评论家估计从某个状态出发的预期回报。

演员和评论家可以使用独立网络,也可以共享部分参数。评论家提供一个基线,有助于降低策略梯度估计的方差。

一种常用的估计方法是广义优势估计(GAE)。它将时序差分学习中的残差

δt=Rt+γVϕ(st+1)−Vϕ(st),\delta_t = R_t+\gamma V_\phi(s_{t+1})-V_\phi(s_t),

组合为

A^t=∑l=0T−t−1(γλ)lδt+l.\hat A_t = \sum_{l=0}^{T-t-1} (\gamma\lambda)^l\delta_{t+l}.

这里,ϕ\phi 表示评论家的参数,λ\lambda 控制偏差与方差之间的权衡。实现时需要使用终止状态掩码,并进行恰当的自举估计。尤其要注意,真正的终止状态与仅因达到时间限制而结束的回合,可能需要不同的处理方式。

优势值通常会在一个批次或小批量内进行标准化。这是实践中的实现选择,而非定义裁剪目标的必要组成部分。

组合训练损失

典型实现会最小化如下形式的损失函数:

L=−LCLIP+cVLV−cHE^t[H(πθ(⋅∣st))],\mathcal{L} = -L^{\mathrm{CLIP}} +c_V\mathcal{L}_{V} -c_H\hat{\mathbb{E}}_t \left[ \mathcal{H}\bigl(\pi_\theta(\cdot\mid s_t)\bigr) \right],

其中:

  • LV\mathcal{L}_{V} 用于训练价值函数,通常采用价值预测与估计回报之间的平方误差;
  • H\mathcal{H} 为策略熵,可以鼓励探索;
  • cVc_V 和 cHc_H 是这些附加项的权重。

某些实现还会裁剪价值函数,但这并不是 PPO-Clip 的必要组成部分。更新通常通过反向传播计算,并使用 Adam优化器等优化器执行。

训练流程

标准的 PPO 训练循环包含以下步骤:

  1. **采集经验。**在一个或多个环境中运行当前策略,存储观测、动作、奖励、价值估计以及采样动作的对数概率。
  2. **计算学习目标。**根据采集的轨迹估计优势和价值函数的训练目标。
  3. **固定行为策略概率。**保留采集时产生的概率或对数概率。
  4. **在这批数据上优化。**将数据打乱并划分为小批量,对演员和评论家进行多轮更新。
  5. **采集新经验。**使用更新后的策略生成下一批数据。

在同一批数据的整个优化过程中,行为策略概率始终保持不变。如果根据不断变化的当前策略重新计算这些概率,就会破坏概率比原本的含义。

尽管每批采集的数据会被重复用于多轮优化,PPO 通常仍被归类为同策略算法。其数据来自近期的策略,通常在更新周期结束后就被丢弃。它一般不会像许多异策略算法那样,使用长期保留的经验回放缓冲区。

环境通常以并行计算方式运行,以提高数据采集吞吐量。批次大小、优化轮数、小批量大小、裁剪阈值和学习率,共同影响每个周期中策略变化的幅度。

基于惩罚的 PPO 与散度监测

另一种形式使用KL散度来惩罚策略变化:

LKLPEN(θ)=E^t[rt(θ)A^t−βDKL(πθold(⋅∣st) ∥ πθ(⋅∣st))].L^{\mathrm{KLPEN}}(\theta) = \hat{\mathbb{E}}_t \left[ r_t(\theta)\hat A_t - \beta D_{\mathrm{KL}} \left( \pi_{\theta_{\mathrm{old}}}(\cdot\mid s_t) \,\Vert\, \pi_\theta(\cdot\mid s_t) \right) \right].

可以根据测得的散度高于还是低于目标值,自适应调整惩罚系数 β\beta。

即使采用 PPO-Clip,实现中也经常会监测近似散度,并在其超过阈值时提前停止当前批次的优化。另一个诊断指标是裁剪比例,用于衡量采样概率比落在裁剪区间之外的频率。这两个统计量中的任何一个,都不能单独证明策略已经得到改善。

应用

控制与仿真环境

PPO 同时支持离散和连续动作空间,在深度学习与强化学习相结合的研究中广泛用作基准算法。其应用包括仿真运动控制、物体操控、导航和游戏环境。

其优化器相对简单,又适合并行仿真,因此在能够生成大量环境交互的场景中很有用。仿真中的成功行为本身并不意味着在现实世界中也能可靠运行:模拟器误差和分布偏移都可能影响部署效果。

语言模型训练

PPO 已被用于基于人类反馈的强化学习,以训练大语言模型。在这种场景下,策略根据提示以及先前已生成的文本,逐个生成词元。一个经过训练的奖励模型负责评估生成的回答。

这类系统通常会惩罚策略相对于固定参考模型的偏离,以防止其过度偏离初始语言模型。这种参考模型惩罚与 PPO 对行为策略的比较具有不同的目的:

  • 行为策略会在不同的轨迹采集周期之间发生变化,并提供 PPO 概率比的分母。
  • 参考模型可以保持固定,用于约束模型在更长训练过程中对某个选定模型的偏离。

并非所有基于偏好的训练都需要 PPO。例如,直接偏好优化采用不同的目标,不需要同样的在线 PPO 轨迹采集与评论家训练流程。

优点与局限

PPO 将相对简洁的目标函数、灵活的神经网络架构和常规的小批量优化结合起来。它能够在新采集的一批数据上进行多轮训练,因此比只做一次梯度更新更能充分利用这批数据。

不过,它仍有一些重要局限:

  • **交互成本。**由于 PPO 需要反复采集新轨迹,其样本效率可能低于适合当前任务的异策略方法。
  • **对实现细节敏感。**奖励缩放、观测标准化、初始化、优势估计、回合边界处理以及优化器设置,都可能显著影响结果。
  • **缺乏普遍的稳定性保证。**裁剪减少了部分促使更新过大的激励,但无法防止所有破坏性变化。
  • **依赖评论家的质量。**不准确的价值估计可能产生误导性的优势估计。
  • **探索困难。**PPO 本身不能解决奖励稀疏、长时程信用分配,或需要协调探索行为的环境所带来的问题。
  • **奖励设定偏差。**PPO 优化的是所提供的奖励,并不能证明该奖励准确体现了预期任务。奖励黑客现象仍有可能发生。
  • **数据复用范围有限。**优化轮数过多,可能使当前策略与行为策略产生显著差异,并促使模型对采集到的这批数据过拟合。

因此,PPO 的“近端”性质描述的是一种鼓励保守策略更新的实用方法,而非将策略精确投影到某个具有安全保证的策略集合中。