REINFORCE是一种强化学习算法,通过调整随机策略来最大化期望累积奖励。它属于策略梯度方法:并非先学习哪个动作的价值最高,而是直接改变动作采样所依据的分布参数。其典型更新方式是将动作的对数概率梯度乘以采样得到的回报;如果使用了基线,则以基线为参照,提高与有利结果相关的动作的概率,降低与不利结果相关的动作的概率。
起源与术语
罗纳德·J. 威廉姆斯(Ronald J. Williams)在1992年的论文《用于联结主义强化学习的简单统计梯度跟随算法》(Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning)中提出了REINFORCE统计梯度跟随算法族。该研究介绍了利用标量强化信号调整随机单元的方法,其中包括人工神经网络中的随机单元。
在当代强化学习中,“REINFORCE”通常指一种回合式蒙特卡洛策略梯度算法。更广义地说,这个名称也用于指其底层的得分函数梯度估计量;在序贯决策问题之外,这种估计量也可用于优化涉及离散或连续采样变量的期望。
该估计量与仿真和数学优化中的似然比方法密切相关。其显著特点是对采样结果的概率求导,而不是穿过采样结果本身进行求导。
数学设定
考虑一个有限时域的马尔可夫决策过程。在时刻 ,智能体观测到状态 ,从参数化策略 中采样动作 ,并获得奖励 。随后,环境产生下一个状态。
对于包含 个动作的回合,将从时刻 开始的折扣回报定义为
其中, 为折扣因子。一个标准的目标是
其中, 表示一条完整轨迹, 是该策略下轨迹的概率分布。
REINFORCE利用采样得到的回合来估计这一期望值的梯度。它既不需要环境转移概率的模型,也不需要奖励函数的导数。
得分函数恒等式
对于采样变量 和不显式依赖于 的函数 ,核心恒等式为
在允许交换求导与积分顺序的条件下,该恒等式可由下式推出:
通常应用时,假定概率可微、满足适当的可积性条件,且分布的支撑集不随参数变化。如果 也显式依赖于 ,则其直接导数还会贡献一个额外项。
对于一条轨迹,假设初始状态分布和环境动力学不依赖于策略参数,则有
因此,
未知的环境概率从这个导数中消失了。正因如此,算法才能通过交互进行学习,而无须穿过环境进行求导。
后续回报
直接应用该恒等式,会用整个回合的回报对每个动作的对数概率梯度加权。然而,一个动作不可能造成在它之前已经获得的奖励。这些奖励对该动作期望梯度的贡献为零,因此可以去除。
对于上述折扣目标,由此得到
与用完整回报对每个动作加权相比,使用后续回报通常能减少不必要的噪声。
外部因子 源于这里采用的特定目标,即从初始状态开始计算的折扣目标。采用不折扣回合回报的表述会令 ;基于其他目标或采样分布的表述则可能采用不同的加权约定。当 时,省略该因子通常就不能得到上述目标的精确梯度估计量。
算法与实现
基本的批量版本按以下步骤进行:
- 初始化策略参数 。
- 使用当前策略收集完整回合。
- 为每个回合中的每个动作计算 。
- 计算采样策略梯度的平均值。
- 通过梯度上升更新参数。
- 收集新的回合并重复上述过程。
对于 个回合,梯度估计为
更新方式为
其中, 为学习率。
使用以最小化损失函数为目标的软件时,可以通过以下基于样本的替代损失实现同样的更新:
这里, 表示在求导时将回报视为固定权重。反向传播通过策略网络计算对数概率的导数,而不会穿过采样动作或环境转移进行求导。这个替代损失在生成样本的策略处提供所需的梯度,而不是直接计算期望回报目标的值。
对于离散动作,策略通常采用类别分布。对于连续动作,策略可以输出高斯分布的参数。无论哪种情况,REINFORCE都要求能够方便地计算采样动作的对数概率。
基线与方差缩减
REINFORCE估计量可能具有较高的方差,因为回报取决于许多随机动作和环境事件。一种标准的改进是减去基线:
不依赖于当前动作的基线,其期望贡献为零,因为
对于连续动作,将求和换成积分后,相应的恒等式同样成立。
一种常见的基线是对状态价值的估计:
此时, 将观测结果与从该状态出发时的预期结果进行比较。基线可以通过对采样回报进行回归来学习。在计算策略梯度时,必须将基线视为固定值,即使它本身也有可训练的参数。
减去适当的基线可以降低方差,而不改变期望梯度。不准确但与动作无关的基线本身不会引入偏差,但它可能几乎无法降低方差,甚至会增大方差。有限样本之间的依赖关系也很重要:使用同一批次的样本均值对回报进行中心化,并不自动保证实现严格无偏。
其他常见的改进包括增大批量,以及对回报或优势估计进行缩放或归一化。这些做法可以改善数值表现,但依赖于样本的归一化未必保持严格无偏性。加入探索奖励则会改变优化目标,而不只是降低估计量的方差。
与其他强化学习方法的关系
演员—评论家方法
REINFORCE使用完整采样回报,而非自举目标。演员—评论家方法将策略(演员)与学习得到的价值估计器(评论家)结合起来。许多演员—评论家算法使用时序差分学习,在回合结束之前就构造出方差更低的策略更新。
从广义的架构角度看,使用学习得到的状态价值基线的REINFORCE也可以被描述为具有演员和评论家。不过,通常在算法层面上的区别在于:策略更新使用的是完整的蒙特卡洛回报,还是自举估计。自举可以降低方差、提高数据效率,但也引入了对价值估计准确性的依赖。
基于价值的方法
Q学习学习动作价值,并据此导出策略。相比之下,REINFORCE直接优化显式参数化的随机策略。
直接对策略进行参数化,便于处理连续动作和需要随机化行为的问题。但这并不能消除延迟奖励、探索,以及将功劳分配给各个决策时所面临的困难。
现代策略优化
近端策略优化同样利用采样得到的策略梯度信息,但会修改更新目标,以抑制过大的策略变化,并使收集到的数据能够得到受控的重复利用。基本的REINFORCE没有类似的约束。
REINFORCE通常是同策略算法:轨迹应当由正在估计其梯度的那个策略采样得到。未经校正就重复使用其他策略生成的轨迹,通常会产生有偏估计。重要性采样可以在满足适当支撑集条件时校正分布不匹配,但可能大幅增加方差。
应用与局限
只要系统能够对决策进行采样并评估其结果,REINFORCE就能提供一种通用的学习机制,即使这些结果不可微也不例外。其应用包括控制、离散序列生成,以及涉及随机计算选择的优化。
在自然语言处理中,模型可以采样生成一个序列,并利用序列级奖励对各词元对数概率的梯度加权。这使该估计量与基于奖励的微调以及某些形式的基于人类反馈的强化学习联系起来,不过具体的训练系统往往会采用更复杂的目标。
该方法的主要局限包括:
- 采样方差高。 时间跨度较长或奖励噪声较大时,可能需要大量轨迹才能得到有用的更新。
- 反馈稀疏。 如果很少采样到能获得奖励的结果,算法就难以获得足够的改进信息。
- 延迟信用分配。 后续回报无法完全辨明,先前的众多决策中究竟哪些导致了某个结果。
- 数据复用有限。 其基本的同策略形式会在策略更新后丢弃数据,而不能随意重复使用固定数据集。
- 对更新尺度敏感。 奖励大小、学习率和策略参数化方式都可能显著影响稳定性。
- 局部优化。 即使梯度估计量无偏,也不能保证找到全局最优策略,尤其是在使用非线性函数近似时。
这些性质使REINFORCE作为基础估计量和基准算法尤为重要,同时也解释了为什么更复杂的策略梯度系统会采用基线、评论家和受约束的更新机制。