RMSProp是一种迭代式数学优化算法,用于最小化可微目标函数,尤其常用于训练人工神经网络。它通过维护近期梯度平方的指数加权平均值,分别调整每个参数的更新尺度。将各梯度分量除以该平均值的平方根,可以减小梯度持续较大的坐标方向上的更新幅度,并相对增大梯度较小的坐标方向上的更新幅度。RMSProp属于机器学习中使用的自适应随机梯度下降方法。
背景与动机
训练模型通常需要针对参数向量最小化某个损失函数。普通随机梯度下降利用单个样本或小批量训练数据估计梯度,并据此更新参数。所有参数的更新幅度都由同一个全局学习率控制。
当不同坐标的梯度大小差异很大时,这种统一缩放的方式可能效率低下。适合某个坐标的步长,可能在另一个坐标上引起过度振荡;而足以避免这些振荡的小步长,又可能导致其他方向上的优化进展缓慢。
自适应梯度算法通过将各梯度分量除以其历史平方值累加和的平方根来解决这一问题。然而,这个累加量只增不减。在长时间训练后,由此得到的有效学习率可能变得非常小。
RMSProp用指数移动平均代替累加和。越早的梯度平方值所占的权重越小,使算法能够响应梯度尺度的变化,而不会始终受早期观测值主导。
这一方法通过杰弗里·辛顿2012年的神经网络课程广为人知,该课程的RMSProp讲义将这一方法归功于蒂伊门·蒂勒曼。此后,它成为深度学习软件中的标准优化器之一。
更新方程
设 表示第 次更新前的参数向量,并令
为当前目标函数估计值的梯度。在小批量训练中, 是在当前批次上计算的损失。对于神经网络,该梯度通常通过反向传播获得。
一种常见的非中心化RMSProp形式为
其中:
- 是梯度平方的移动平均值,通常初始化为零。
- 是衰减系数,满足 。
- 是全局学习率。
- 是用于保证数值稳定性的常数。
- 、除法和平方根运算均按元素进行。
因此,对于坐标 ,更新公式为
该坐标对应的有效学习率为
有些实现将分母写为 。这两种约定在数值上并不等价,尤其是在 较小时。因此,在不同实现之间切换时,不能总是原样沿用同一个 值。
原理解释
局部梯度尺度估计
在 的条件下,展开累加量可得
因此, 步之前的梯度平方值,其权重与 成正比。 可以用来近似衡量平均过程的时间尺度,但这种平均并不存在明确的截断点。
较大的 会产生更平滑的估计,但对变化的响应较慢。较小的值响应更快,却也使分母更容易受到单个批次的影响。
均方根而非方差
在基本RMSProp中, 估计的是梯度的非中心二阶矩。其平方根近似表示近期梯度大小的均方根,这也是算法名称的由来。
这个量通常并不是方差。对于标量随机梯度 ,
基本RMSProp跟踪的是第一项,而非两项之差。
对角预条件
RMSProp也可以视为一种采用对角预条件的梯度方法:
其中
它利用历史梯度改变各参数坐标的缩放尺度,但并不估计完整的曲率矩阵,也不直接考虑坐标之间的相互作用,因此不是完整的二阶优化方法。
变体
带动量的RMSProp
RMSProp经常与动量法(优化)结合使用,后者在多次更新中累积运动方向。一种约定是
其中 为动量系数。
其他约定会将学习率纳入动量累加量。当学习率随时间变化时,这些形式可能表现出不同的行为。因此,仅说“带动量的RMSProp”并不足以完整确定一种实现。
中心化RMSProp
中心化RMSProp还会维护梯度的指数平均值:
随后,它使用基于
的分母,而不是仅使用 。一种代表性的更新形式为
这种方式估计梯度围绕移动均值的波动程度。它需要额外维护一个与参数向量同样大小的状态向量,与普通的非中心化RMSProp有所不同。数值实现必须考虑减法运算中的舍入误差。
与其他优化器的关系
| 优化器 | 梯度缩放或累积方式 | 主要区别 |
|---|---|---|
| 随机梯度下降 | 使用统一的学习率,不根据各坐标的历史信息进行归一化 | 更新简单,优化器状态很少 |
| 自适应梯度算法 | 累积所有历史梯度的平方 | 累加量单调不减 |
| RMSProp | 对梯度平方求指数平均 | 旧梯度大小的影响逐渐减弱 |
| [[adam-optimizer | Adam优化器]] | 对梯度及梯度平方分别求指数平均,并进行偏差校正 |
RMSProp和Adam都使用梯度平方的移动统计量,但Adam并非带动量RMSProp的另一个名称。Adam的一阶矩估计、偏差校正及具体更新方程,使这两种算法有所区别。
标准RMSProp通常不进行初始化偏差校正。因此,将累加量初始化为零会影响早期更新。例如,忽略 时,某一坐标的首次非零更新幅度为
与该坐标初始梯度的大小无关。这说明初始化方式和衰减系数会影响算法的暂态行为。
应用与实现
RMSProp已被用于训练前馈神经网络和循环神经网络,以及强化学习中的神经网络模型。当优化过程中的梯度尺度发生变化时,其移动平均机制会有所帮助,但这并不保证它能成功适应目标函数的任意变化。
包括PyTorch和TensorFlow在内的主流框架都提供了RMSProp实现。不同实现的默认值和数值计算约定可能有所差异。要保证结果可复现,需要明确学习率、衰减系数、稳定常数及其位置、动量计算约定、是否采用中心化,以及所使用的任何正则化方法或学习率调度方案。
对于 个参数,基本RMSProp需要 的额外优化器存储空间,每次更新需要 的算术运算,不包括梯度计算。动量和中心化各自都会额外增加一个与参数向量同样大小的状态向量。
学习率和衰减系数仍然是重要的超参数。对各坐标进行自适应缩放,并不意味着无需选择整体更新尺度。
局限性
没有普遍的收敛保证。 梯度平方的移动平均值既可能增大,也可能减小,因此各坐标的有效学习率可能上升。基本RMSProp并不具备自适应梯度算法的单调累加结构。收敛性结论需要一定的假设,且可能依赖特定的学习率调度方案或算法修改。
对设置和暂态行为敏感。 当梯度平方的移动平均值极小时,较小的稳定常数可能使有效学习率变得很大。较大的稳定常数则可能主导分母,削弱自适应缩放的作用。衰减系数控制着响应速度与平滑程度之间的权衡。
几何信息有限。 逐坐标缩放无法直接表示参数之间的相关性。对参数化方式进行旋转变换,可能显著改变算法的行为。
无法自动解决梯度不稳定问题。 RMSProp或许能够缓和梯度大小的差异,但它本身不能消除数值溢出或梯度消失问题。
优化与泛化是两回事。 训练损失下降得更快,并不一定意味着在未见数据上具有更好的泛化(机器学习)能力。不同优化器的相对表现取决于模型、数据、正则化方法、训练预算及优化器设置。