策略梯度方法是一类强化学习方法,通过估计策略参数的变化如何影响期望累积奖励,来改进智能体的行为。它不是先学习每个可能动作的价值,再选择估计价值最高的动作,而是直接调整参数化的策略,即规定在不同情境下采取何种动作的规则。策略既可以是小型统计模型,也可以是大型人工神经网络,其输出可以表示离散选择、连续控制量,或序列上的概率分布。
策略梯度方法的重要性在于,它能在统一的优化框架下处理随机行为、高维观测和连续动作空间。许多行动者—评论家算法、机器人控制系统、游戏智能体,以及利用奖励信号调整语言模型的方法,都以策略梯度方法为基础。这类方法的核心数学结果用可通过交互估计的量来表示长期性能的梯度,而无须对环境的动力学求导。
这一方法族包括 REINFORCE 等蒙特卡洛估计方法、自然策略梯度、信赖域方法、近端策略优化,以及确定性或采用熵正则化的行动者—评论家算法。这些方法的主要区别在于如何估计动作的优劣、控制采样方差、复用先前收集的经验,以及防止行为发生破坏稳定性的变化。
策略、轨迹与优化目标
标准的数学框架是马尔可夫决策过程,它由状态 、动作 、转移概率 、奖励和初始状态分布组成。策略 由向量 参数化,给出在状态 下采取动作 的条件概率或概率密度。在部分可观测环境中,策略的输入也可以是观测历史或内部记忆状态。学习通过改变 ,既改变当前的动作选择,也改变智能体未来会遇到的状态。
轨迹是如下形式的序列:
对于有限时域 ,一个常见的目标是
其中, 是折扣因子。这里的期望值对初始状态、策略的随机性和环境的随机性取平均。对于持续性任务,通常采用 的无限时域折扣目标,或长期平均奖励目标。这些选择在数学上并不相同:折扣会改变不同时刻事件的相对重要性,而不只是为了方便数值计算。
基本更新方式是梯度上升:
其中使用学习率 和估计得到的梯度。在实际实现中,往往借助专为损失最小化设计的软件,将某个替代目标的负值最小化。因此,策略梯度属于数学优化,但其数据分布会随着策略的变化而变化。动作会影响收集到哪些经验,因此,这一问题不同于在固定数据集上进行的常规监督学习。
策略的参数化方式决定了它能够表示哪些行为。对于离散动作,神经网络通常先输出 logits,再通过 softmax 得到概率分布。对于连续动作,常见的选择是高斯分布,其均值、有时还包括协方差,都依赖于状态。确定性策略则直接输出单个动作 。当不确定性或策略性交互使随机化有益时,随机策略可以持续保留随机性,而不是仅在初期探索时使用随机性。
直接策略优化并不等同于所有形式的策略搜索。使用进化方法或有限差分扰动来搜索策略参数,并不一定需要使用策略梯度估计量。反过来,演员—评论家算法虽然会在内部学习价值函数,但仍然属于策略梯度方法。这类方法的本质特征是:使用策略性能目标的梯度,或对此类梯度精心构造的近似,来更新策略。
策略梯度定理及其推导
关键难点在于,改变策略会改变未来轨迹的整个分布。不过,在满足适当的可微性和可积性条件时,无须对转移概率求导,就能估计梯度。对于动力学和奖励均不显式依赖于 的环境,一条有限长度轨迹的概率为
因此,
只有策略因子对这一导数有贡献。
将轨迹的折扣回报记为 ,由似然比恒等式可得
这是一个得分函数估计器:它对采样事件的对数概率求导,而不是对事件本身求导。因此,它能够处理离散动作和不可微的环境。例如,模拟器可能包含碰撞、离散分支或专有的状态转移机制;只要能够采样动作并观测奖励,仍然可以估计策略梯度。
根据因果性,可以消去那些涉及求导动作发生之前所获奖励的项。将从时刻 开始的后续回报定义为
于是,上述有限时域折扣目标的精确梯度可写为
对于这一特定目标和采样约定,外层因子 不可忽略。不含该因子的表达式可能对应不同的状态加权方式、无折扣的回合式目标,或实现中的近似处理。
策略梯度定理通过价值函数表达了同一原理。令
对于归一化的折扣状态占用分布
无限时域折扣目标的梯度为
该定理并不是说状态分布与策略无关。相反,它在无须显式求取占用分布导数的情况下,计入了这种依赖关系。这正是它的实用之处:只需状态和动作的样本,以及动作价值的估计,就足以构造一次更新。当奖励、初始条件或环境参数本身显式依赖于策略参数时,可能还需要加入额外的导数项。
REINFORCE、基线与采样方差
REINFORCE 由罗纳德·J. 威廉姆斯于 1992 年提出,是一类基础性的似然比学习规则。在常见的回合式形式中,智能体采样完整轨迹,计算其回报,并按动作所对应回报的比例提高该动作的对数概率。出现在高回报轨迹中的动作会获得正向更新,而相对表现足够差的动作则可能获得负向更新。这一规则不需要显式的环境动力学模型,也不要求奖励函数可微。
对于 个采样回合,采用后续回报的估计量为
对于同策略样本及与之匹配的目标函数,在通常的正则条件下,这是一个无偏梯度估计量。无偏并不意味着小批量样本就能给出准确的方向。随机状态转移、探索性动作、不同的初始条件,以及在待更新动作之后许多步才发生的罕见事件,都可能使回报产生很大的波动。
降低方差的一项核心手段是使用基线。可以从回报中减去一个依赖于状态的量 ,而不改变梯度的期望,因为
这一结论源于动作概率的总和或积分等于一。基线不能以不受约束的方式依赖于采样动作;依赖动作的控制变量需要额外的修正。在计算行动者梯度时,通常将学习得到的基线视为固定值,即使它依赖于在其他环节中更新的参数。
一种常见的基线是状态价值
减去它便得到优势函数,
它衡量某个动作相对于策略在该状态下的通常行为是更好还是更差。因此,即使一个动作的绝对回报为负,只要优于相应基线,它仍然可以得到强化。尽管 是一种自然而实用的基线,但使方差最小的基线通常还取决于得分向量的大小,因此价值函数并非在所有情况下都是降低方差的最优选择。
其他技术包括使用后续回报而非整个回合的回报、增大批量,以及利用问题结构构造控制变量。在实际实现中,按批次对优势进行归一化很常见,但这是一种额外的、依赖于数据的变换,而不是由基线恒等式严格推导出的结果。稀疏奖励仍然尤其棘手:如果所有采样回合的奖励都为零,普通的回报加权估计量可能无法提供任何有助于找到成功行为的方向。仅靠更大的网络或更快的梯度计算,并不能解决这一探索问题。
演员—评论家学习与时间信用分配
演员—评论家方法将一个称为“演员”的策略与一个通过学习得到、称为“评论家”的评估器结合起来。评论家估计状态价值函数或动作价值函数;演员则利用这一估计来改进其动作概率。这将两个相互关联的问题区分开来:预测未来结果,以及决定行为应如何改变。演员的参数可以记为 ,评论家的参数记为 ,不过,采用神经网络的实现有时会共享一个观测编码器。
状态价值评论家可以通过时序差分学习来训练。其单步误差为
在真正的终止状态下,需要去掉自举项。如果 ,那么在给定 的条件下, 的条件期望等于 。因此,时序差分误差可以作为演员的一种实用学习信号。与完整的蒙特卡洛回报不同,它只需经历一次状态转移即可计算,因此能够在一个回合结束之前进行更新。
自举带来了偏差与方差之间的权衡。蒙特卡洛回报不依赖采样片段末尾的价值估计,但噪声可能很大。较短的自举回报受后续随机性的影响较小,却会继承评论家的估计误差。更长的 步回报则介于这两个极端之间。因此,评论家既能加速学习,也可能将系统性误差引入演员的更新,尤其是在新近访问的状态中,函数近似不够准确时。
广义优势估计由约翰·舒尔曼及其合作者提出,并于2015年公开流传。它将时序差分残差组合起来:
其中, 控制估计器的有效长度,而 取决于可用的轨迹采样数据。当 时,它使用单步残差。当 趋近于1时,它会趋近于蒙特卡洛式回报减去一个基线值的形式,具体取决于片段端点的处理方式。它的实用价值在于,可以调节时间信用分配,而不必明确选定某一个回报长度。
必须区分终止状态与数据采集截断。如果一个回合真正结束,就不再有未来的任务奖励。如果轨迹采样只是因为固定采样窗口到期而停止,底层任务可能仍在继续,此时使用自举仍可能是合适的。混淆这两种情况会系统性地扭曲价值学习的目标值。对于会自动重置的环境,也需要同样谨慎,因为不能将重置后的观测误认为已终止轨迹的后继状态。
经典收敛性分析通常让演员和评论家在不同的时间尺度上更新,使评论家能够跟踪当前策略,而演员则变化得更慢。深度演员—评论家方法的实现未必满足这些假设。当演员与评论家共享参数时,拟合评论家也可能改变演员的表示,因此,二者之间的相互作用比两个完全独立的优化问题更为复杂。
自然梯度、信赖域与近端更新
普通的参数梯度取决于表示策略时所使用的坐标。两个欧氏长度相同的参数变化,可能使动作概率发生截然不同的变化;对同一策略族重新参数化,也可能改变表观上的最陡方向。自然梯度通过在概率分布空间中度量局部变化来解决这一问题。对于策略,相应的费希尔信息矩阵具有如下形式:
其中,期望是在指定的状态—动作分布下计算的。
自然梯度方向为 ,使用时需妥善处理矩阵奇异性,或引入阻尼。在局部,费希尔矩阵刻画了相邻策略之间的KL散度的曲率。因此,可以通过在约束策略散度的二次近似的同时,最大化性能的线性近似,推导出自然梯度更新步。对于大型神经网络,显式构造完整矩阵并求逆通常并不现实;算法会转而使用矩阵—向量乘积、迭代求解器或结构化近似。
2015 年提出的信赖域策略优化(TRPO)使用旧策略采集的样本来评估替代目标,并对平均 KL 散度施加约束。一个典型的替代目标为:
这一概率比率用于计入采样状态下动作概率的变化。限制更新幅度,是为了使这一局部近似仍然有效。实际使用的 TRPO 将近似的受约束更新步与线搜索相结合;其理论依据并不意味着,每一种使用采样数据的神经网络实现都能获得无条件的性能改进保证。
2017 年提出的近端策略优化(PPO)用更易于通过小批量梯度方法优化的目标,取代了显式的约束求解。其广泛使用的裁剪目标为:
其中:
当优势为正时,采样动作的概率若增加过多,就不再提高裁剪目标的值。当优势为负时,对应的保护机制则针对概率的过度下降。
裁剪并不会对每个动作的概率或整体策略散度施加硬性界限。不同样本共享参数,而且多轮优化仍可能使策略发生显著变化。因此,实际实现可能会监测 KL 散度,或提前停止更新。自然梯度、TRPO 和 PPO 方法都在解决同一个总体问题:避免依据带有噪声的局部性能估计做出过大的行为改变,但它们采用的数学与计算机制各不相同。
离策略、确定性与熵正则化变体
同策略估计器使用正在求导的策略所生成的经验。离策略方法则利用行为策略 生成的经验进行学习,其中也可能包括回放缓冲区中存储的旧策略所生成的经验。复用经验可以显著提高与环境交互的效率,在数据采集成本高昂时尤其如此。然而,行为策略的动作分布以及通常情况下的状态分布都与目标策略不同,因此,直接将同策略公式应用于回放数据通常是不正确的。
重要性采样利用似然比校正分布变化。对于一条完整轨迹,比率可能包含如下乘积:
在较长的时间跨度上,这类乘积可能具有极高的方差。逐决策校正、截断比率以及专门设计的行动者—评论家估计器,会在精确性与稳定性之间作出权衡。充分的支持集覆盖至关重要:如果行为策略从不采取目标策略可能选择的某个动作,那么仅靠对观测样本加权,无法还原这些缺失的结果。
戴维·西尔弗及其合作者于 2014 年提出的确定性策略梯度定理,为连续动作问题提供了另一条路径。对于确定性行动者 ,其同策略形式为
对行动者求导时,梯度经由评论家的动作输入传递,而不经过环境。这要求动作价值函数对连续动作可微。2015 年提出的深度确定性策略梯度方法,将这一思想与神经网络函数逼近、经验回放存储以及缓慢更新的目标网络相结合。
在实践中,基于经验回放的确定性行动者更新通常对回放缓冲区中的状态取平均,而不是对当前策略的精确状态占用分布取平均。不应直接将这类更新视为原始初始状态目标的无偏梯度。另一个难题是行动者会利用评论家的估计误差:某些动作仅仅因为被评论家高估而显得有利,行动者却可能选择这些动作。2018 年提出的双评论家延迟深度确定性策略梯度方法,通过使用两个评论家、基于最小值构造的目标、延迟的行动者更新以及目标策略平滑来缓解这一问题。
最大熵方法将奖励与策略熵一并优化。一个具有代表性的目标为
其中, 表示熵, 决定其相对权重。2018 年提出的软行动者—评论家方法将离策略评论家、随机行动者与熵正则化相结合。连续动作通常由不依赖参数的噪声经可微变换生成,从而可以通过重参数化计算行动者梯度。在这里,熵是优化准则的一部分,而不仅仅是一种非正式的探索辅助手段;改变熵的权重,就会改变所优化的行为。
神经网络实现与实验实践
在深度学习中,策略梯度通常通过对一个标量代理目标沿神经网络求导来计算。一个批次包含观测、采样动作、旧策略的对数概率、奖励、终止信息,以及估计价值或优势所需的量。反向传播用于计算对数概率或评价器输出相对于网络参数的导数。与环境的交互本身通常不在这一可微计算过程之内。
实现时,一个关键区别是:对估计量求导,并不等于对其中参与数值计算的每个量都求导。在标准的似然比行动器更新中,采样得到的优势被视为固定权重。如果自动微分还沿着优势追溯到评价器求导,就会引入预期估计量中并不存在的项。同样,在策略更新期间,概率比中的旧策略对数概率必须保持固定。PyTorch 和 TensorFlow 等框架提供了将张量从计算图中分离的机制。
动作分布需要谨慎处理。对于有界连续动作,一种常见构造是先采样高斯变量 ,再应用 ,随后按需进行缩放。在计入额外缩放之前,动作的对数密度必须包含该变换的雅可比修正项:
直接将高斯样本裁剪到动作边界内,会产生一个不同的分布,其中包括边界上的概率质量;若仍按未经改变的高斯分布计算其对数概率,结果就会与实际分布不一致。
数据采集和优化也在不同尺度上进行。并行环境可以提供大批量的轨迹数据,而加速器能够高效处理小批量数据。异步工作进程可能使用过时的策略参数来执行动作,即使算法原本主要采用同策略学习,这也会引入异策略成分。对于自回归策略,采样序列的似然是各词元条件概率的乘积,通常通过对数概率之和来计算。因此,一次生成的输出若是长序列,就会涉及许多次策略决策。
奖励缩放、观测归一化、梯度裁剪、优化器设置和轨迹采集长度,都可能显著影响结果。Adam优化器这类自适应优化器会改变将估计梯度转化为参数更新的方式,但无法消除估计量中的误差。奖励变换也需要谨慎处理:将所有奖励乘以一个正数,不会改变不含正则化时策略的优劣排序;但当回合长度不同时,每步都加上一个常数可能改变策略偏好。重新缩放奖励时,必须另行考虑熵和其他惩罚项。
评估通常会将训练时的探索与待测量的策略行为区分开来,并报告不同随机种子下结果的变动情况。环境交互次数、梯度更新次数和实际计算耗时衡量的是不同方面的成本。在训练环境中获得高回报,本身并不能证明策略能泛化到不同的动力学、观测或任务分布;如果算法对超参数较为敏感,那么在调参预算相差很大时,比较结果可能并不可靠。
在控制、游戏与语言生成中的应用
连续控制是策略梯度方法的一大应用领域,因为直接优化动作可以避免枚举庞大甚至无穷的动作集合。机器人的策略可以输出关节力矩、目标位置,或底层控制器的参数。神经网络策略可以接收状态估计或视觉观测,并学习如何协调多个执行器的行为。仿真支持大量交互,但将策略迁移到实体硬件时,接触动力学、传感、延迟和执行器行为等方面都会出现差异。动力学随机化等方法旨在降低策略对这些差异的敏感性,但并不能保证迁移成功。
游戏提供了可重复的环境和明确的性能信号。在 2016 年的 AlphaGo 系统中,策略网络最初通过人类棋谱进行训练,随后通过与自身的早期版本对弈,利用策略梯度更新开展强化学习,进一步提升棋力。这一策略学习组件与价值网络和蒙特卡洛树搜索相结合。AlphaGo 表明,策略梯度方法可以是更大决策系统中的一个组件,而不必承担整个动作选择过程。
其他游戏智能体系统使用演员—评论家方法,从大规模并行交互经验或自我对弈中学习。策略可以在离散指令中做出选择、选择空间位置,或协调多个动作分量。在多智能体场景中,随着其他智能体改变策略,学习环境也会发生变化。因此,平稳的单智能体马尔可夫决策过程未必能准确描述这种环境,而战胜训练对手也不意味着面对未见过的策略时仍能保持稳健。
对于大语言模型,词元生成可以视为序贯决策过程。状态是提示词及已生成的前缀,动作是下一个词元,而策略则是模型给出的词元条件分布。奖励可能直到完整回复生成后才会给出,因此这一过程与回合式策略梯度直接对应。只要能对采样得到的输出评分,同一套机制就可以用于优化序列层面的评价指标,即使这些指标对于单个词元的选择不可微。
在基于人类反馈的强化学习中,训练得到的奖励模型可以提供评分,同时通过惩罚相对于参考模型的偏离来抑制过度漂移。PPO 已广泛用于语言模型训练的这一阶段。评论家可以根据尚未完成的回复预测预期未来奖励,而词元级的对数概率比则可用于策略更新。采样、奖励模型评估、价值估计和参考策略评估都可能带来可观的计算开销。
估计奖励更高,并不自动意味着输出更符合期望。优化过程可能会利用训练所得奖励模型的弱点,这属于奖励黑客的一种情形;而在分布偏移下,模型行为也可能发生变化。并非所有基于偏好的适应方法都使用策略梯度:例如,直接偏好优化使用另一种目标函数,根据偏好对进行训练,而不采用传统的基于轨迹采样的演员—评论家循环。即使不同方法旨在实现相似的应用目标,它们在训练机制上仍存在这种区别。
历史发展与理论局限
策略梯度方法源于将随机学习系统、自适应控制与优化相结合的研究。威廉姆斯于 1992 年发表的 REINFORCE 论文,为随机单元提出了一类通用且影响深远的梯度估计器。理查德·萨顿、戴维·麦卡莱斯特、萨廷德·辛格和伊沙伊·曼苏尔于 1999 年提出了结合函数近似的策略梯度理论结果。他们的工作还阐明了兼容函数近似的作用:在这种框架下,只要满足必要的拟合条件,采用适当参数化形式的近似评论家就能保持正确的行动者梯度方向。
沙姆·卡卡德在 2001 年发表的工作中提出了自然策略梯度的表述。后续研究发展了自然行动者—评论家算法、更有效的优势估计器,以及二阶更新的实用近似方法。确定性策略梯度定理于 2014 年提出;TRPO 和深度确定性策略梯度随后于 2015 年问世。2016 年的异步优势行动者—评论家方法展示了深度策略的高效并行训练,而 2017 年的 PPO 和 2018 年的软行动者—评论家则成为得到广泛应用的算法族。这些进展分别针对不同的瓶颈:梯度噪声、更新的几何结构、连续动作、并行数据采集,以及经验复用。
有关收敛性的结论高度依赖其假设。经典随机逼近理论的结果可能要求有界性、合适的步长调度、充分的探索,以及准确或具有特殊结构的评论家。在一般的神经网络参数化下,目标函数是非凸的,即使梯度精确,也不能保证收敛到全局最优策略。对于特定的表格型策略参数化和严格规定的更新规则,可以获得更强的保证,但这些保证并不能自动推广到任意深度网络或有限样本实现。
长时间跨度的信用分配与探索仍然是两个不同的难点。即便估计器的方差很低,也无法从从未观测到的成功结果中学习。反过来,即使观测到一次罕见的成功,关于先前哪些动作促成了这一结果的信号,仍可能噪声很大。稀疏奖励、近乎确定性的策略、尺度设置不当的概率分布,以及不准确的评论家,都可能降低学习的有效性。策略也可能在测得的平均回报上有所改善,却在罕见但重要的事件上表现不佳。
策略参数化还会带来额外限制。单峰高斯行动者无法直接表示所有多峰动作分布,而自回归策略虽能表示复杂的结构化动作,却需要付出额外的采样和似然计算成本。部分可观测性可能要求策略具备记忆能力,而学习循环策略又会带来长距离求导和状态管理问题。如果不分别考察优化误差与表达能力不足这两类误差,受限的行为类别就可能让人无法区分:究竟是优化器看似未能奏效,还是策略本身的表达能力不足。
因此,相关研究关注有限样本保证、离策略修正、结构化探索、带约束的目标,以及表示学习与策略改进之间的相互作用。在带有安全约束的问题表述中,可以在期望成本受限的条件下最大化期望奖励,这会引入额外的价值函数和优化变量。这类约束本身并不能限制每一种灾难性事件的发生概率:平均成本限制、机会约束和最坏情况保证是不同的数学要求,各自都需要相应的假设和估计程序。