动量法是数学优化中的一种技术,它在基于梯度的更新中加入先前更新的贡献。算法并非仅根据当前梯度来确定每一步,而是维护一个状态,在迭代之间传递信息。当各次梯度的方向保持一致时,这可以加快沿这些方向的推进,并减少病态目标函数所引起的部分振荡。其经典形式是鲍里斯·波利亚克于1964年提出的重球法。动量也用于随机梯度下降、加速优化方法以及训练人工神经网络的算法。
基本形式
考虑无约束问题
x∈Rdminf(x),
其中,f 是可微的目标函数。普通的梯度下降采用
xt+1=xt−αt∇f(xt),
其中,αt>0 为步长,也称学习率。
重球动量法则采用
xt+1=xt−αt∇f(xt)+βt(xt−xt−1),
其中,βt 为动量系数,通常取值于区间 0≤βt<1。新增项保留了前一次位移的一部分。
当参数恒定时,等价的速度形式为
vt+1=βvt−α∇f(xt),xt+1=xt+vt+1.
一种常见的初始化方式是 v0=0,对应于初始时没有运动。令 β=0,便得到梯度下降。
另一种常见约定是存储累积梯度:
mt+1=βmt+gt,xt+1=xt−ηmt+1,
其中,gt 可以是完整梯度,也可以是随机估计。在 η=α 恒定且初始化相容时,这一形式与速度形式产生相同的迭代点。如果学习率随迭代变化,这两种约定就不一定等价:前者存储历史位移,后者存储历史梯度。
累积与平滑
将梯度累积量展开可得
mt+1=βt+1m0+k=0∑tβt−kgk.
因此,历史梯度的权重按几何级数递减。方向始终一致的梯度会相互增强;反复改变方向的梯度则可能部分抵消。
归一化的指数移动平均则采用
mˉt+1=βmˉt+(1−β)gt.
当 β 恒定且均初始化为零时,这两种累积量之间只相差一个固定的比例因子。因此,要得到相同的参数更新,就必须相应调整学习率。
对于恒定梯度 g,未归一化的累积量趋于 g/(1−β)。因此,在这种情况下,增大 β 而保持学习率不变,也会增大最终的更新幅度。比较不同动量系数时,必须考虑这一缩放效应。
当 β 接近1时,特征记忆长度大致按 1/(1−β) 增长。因此,较大的系数能更长久地保留信息,但也会使更新在梯度改变方向时反应更慢。
力学解释
“重球”这一名称来自一个力学类比:粒子在势场中受到摩擦作用而运动。一个相关的连续时间模型是
x¨(t)+γx˙(t)+∇f(x(t))=0,
其中,γ>0 表示阻尼。这是一个二阶常微分方程,不同于一阶的梯度流方程。
这一类比既解释了运动的持续性,也解释了过冲:即使瞬时作用力已经改变方向,运动仍可能继续。但这只是一种解释,并不意味着在每一种实现中,算法所存储的状态都等同于物理动量。
在二次目标函数上的行为
对于严格凸二次函数,其机制尤为清晰:
f(x)=21xTAx−bTx,
其中,A 是对称正定矩阵。其唯一极小点为 x⋆=A−1b。
记 et=xt−x⋆,重球迭代可写为
et+1=((1+β)I−αA)et−βet−1.
沿 A 的特征向量分解,可将其化为各个独立的标量递推。对于特征值 λ>0,相应误差分量满足
zt+1=(1+β−αλ)zt−βzt−1.
对应的特征多项式
r2−(1+β−αλ)r+β=0
的根决定了该分量是衰减、振荡还是发散。
对于 0≤β<1,如果每个特征值均满足
0<αλ<2(1+β)
则所有分量都收敛到零。特别地,若最大特征值为 L,这一条件可写为
0<α<L2(1+β).
这是针对二次问题的稳定性结论,并不是对任意非线性目标函数的一般收敛保证。
加速与条件数
假设特征值位于 [μ,L] 内,其中 0<μ<L,并定义谱条件数
κ=μL.
使该区间内最坏情况下的渐近特征根模最小的经典参数为
α⋆=(L+μ)24,β⋆=(L+μL−μ)2.
由此得到的最坏情况渐近收敛因子为
q=κ+1κ−1.
相比之下,在相同谱区间上,经过最优调参的固定步长梯度下降的收敛因子为
κ+1κ−1.
当 κ 很大时,这使得特征迭代次数尺度从依赖于 κ 变为依赖于 κ。
这些因子描述的是渐近行为。重特征根可能引入关于迭代次数的多项式因子,而在进入渐近阶段之前,也可能出现显著的暂态振荡。
重球动量与Nesterov加速
1983年提出的Nesterov加速梯度法与动量法有关,但采用的更新规则并不相同。一种常见的表示形式为
yt=xt+βt(xt−xt−1),
xt+1=yt−αt∇f(yt).
梯度是在外推点 yt 而不是 xt 处计算的。这改变了外推与梯度修正之间的相互作用。
采用适当的参数调度时,Nesterov加速方法对凸优化中研究的广泛问题类别具有全局收敛保证。对于梯度满足 L-Lipschitz 条件的目标函数,标准加速方案可达到如下阶的目标函数误差界:
f(xt)−f(x⋆)=O(t−2),
而在类似的光滑凸性假设下,基本梯度下降的误差界为 O(t−1)。
对于强凸问题,加速方案将误差降至容差 ε 所需的迭代复杂度可达到
O(μLlogε1)
这里省略了与初始误差有关的项。
重球法在二次问题上的最优表现,并不能为每一个光滑、强凸的非线性函数确立同样的全局保证。尤其是,针对二次目标函数优化得到的参数,可能在这类函数之外失效。因此,“动量”和“加速”是相关概念,但在论及收敛速率时不能互换使用。
随机动量
在机器学习中,损失函数汇总了大量训练样本,因此计算完整梯度可能代价高昂。此时可用随机梯度或小批量梯度估计来替代:
gt=∇f(xt)+ξt,
其中,ξt 表示估计噪声。
累积可以平滑快速波动的梯度信息。作为说明,考虑对独立同分布、均值为零且协方差矩阵为 Σ 的噪声向量进行归一化指数平均。其平稳协方差为
Cov(mˉ)=1+β1−βΣ.
这一计算描述的是底层信号固定时对噪声进行平均的情形。在优化过程中,迭代点与梯度相互影响,连续的噪声项未必满足这些假设。因此,仅凭这一结果,不能证明参数误差更小或收敛更快。
动量并不能消除随机不确定性。在学习率固定时,即使确定性迭代本来能够收敛,持续存在的噪声通常也会阻碍迭代精确收敛到极小点。递减步长、改变批量大小以及引入额外假设,会产生不同的收敛情形。
收益还取决于底层梯度变化的速度。长记忆可以平滑噪声,但也会保留过时的方向,尤其是在目标函数的海森矩阵变化显著的区域。
相关自适应方法
Adam优化器将梯度的指数平均与逐坐标缩放相结合,后者由梯度平方的指数平均计算得到。其一阶矩状态类似于动量,但完整的更新并非经典重球动量,因为其中还包含自适应缩放和偏差修正。
动量法也不同于以下方法:
- 牛顿法:利用二阶信息变换梯度。
- 正则化:修改优化问题或约束其解,而不仅仅是为更新加入记忆。
- 线搜索:通过评估沿某个方向的表现来选择步长。
这些技术可以与动量结合使用,但它们各自针对优化过程中的不同环节。
实践局限与实现差异
参数耦合。 学习率与动量共同决定更新的动态行为。在不改变学习率的情况下增大动量,可能同时增强方向的持续性并增大有效步长。
非单调行为。 目标函数值不一定在每次迭代中都下降。暂时上升并不妨碍最终收敛,但持续振荡也可能意味着不稳定。
对曲率变化敏感。 固定二次函数上的良好结果,并不能自动推广到曲率沿迭代轨迹发生变化的目标函数。局部二次分析虽有用,但并不完整。
不自动保证全局解。 对于非凸目标函数,仅凭动量并不能保证避开每一个鞍点,也不能保证收敛到全局极小点。
状态与约定。 经典动量法需要额外存储一个与参数维数相同的向量。不同实现在初始化、梯度归一化、学习率调度以及学习率因子的放置位置上各有差异。即使使用数值相同的动量系数,这些选择也可能产生不同的迭代轨迹。