动量法是数学优化中的一种方法,它利用当前梯度以及先前更新的加权贡献来更新候选解。通过保留运动方向,当梯度方向持续一致时,它可以加快沿这些方向的推进,并减轻普通梯度下降中的部分之字形振荡。其经典形式称为重球法或 Polyak动量法。在更广泛的意义上,“动量方法”还包括一些相关算法,它们的梯度计算位置和收敛性质有所不同。
更新规则
考虑无约束最小化问题
x∈Rdminf(x),
其中,f 是可微的目标函数。经典动量迭代为
xk+1=xk−α∇f(xk)+β(xk−xk−1),
其中,α>0 是步长,也称学习率;β 是动量系数,通常在区间 0≤β<1 内选取。
引入位移 vk=xk−xk−1,可得到等价形式
vk+1=βvk−α∇f(xk),xk+1=xk+vk+1.
典型的初始化方式是令 v0=0,这等价于令 x−1=x0。当 β=0 时,该方法退化为普通梯度下降。
另一种约定是累积梯度而非位移:
mk+1=βmk+gk,xk+1=xk−αmk+1,
在确定性优化中,gk=∇f(xk)。当 α 为常数且初始条件匹配时,通过关系 vk=−αmk,可知这一形式与前述形式等价。
另有一些实现采用
mk+1=βmk+(1−β)gk.
这种归一化约定需要相应地调整学习率的尺度,才能产生相同的参数更新。当学习率随时间变化时,如果不作额外调整,梯度缓冲形式与位移缓冲形式未必仍然等价。
记忆与力学解释
在 v0=0 且参数恒定的情况下,展开更新式可得
vk+1=−αj=0∑kβk−j∇f(xj).
因此,当前位移包含了按指数加权的历史梯度。当 β 接近 1 时,特征记忆长度约为 1/(1−β) 次迭代。
如果连续几次梯度的方向相近,它们的贡献就会相互增强。如果梯度的符号交替变化——例如算法反复穿越狭窄谷地时经常出现的情形——累积的贡献就可能部分抵消。这解释了动量为何能够改善算法在细长等值集中的推进表现。但这并不意味着动量总能减轻振荡:参数选择不当反而可能放大振荡。
“重球”一词源于一种力学类比:粒子在势场中运动,同时受到摩擦力作用。对应的常微分方程为
x¨(t)+γx˙(t)+∇f(x(t))=0,
其中,γ>0 表示阻尼。用有限差分近似加速度和速度,可得
xk+1=xk−h2∇f(xk)+(1−γh)(xk−xk−1),
这正是动量形式,其中 α=h2,β=1−γh。
对于足够正则的轨迹,连续时间下的机械能
E(t)=f(x(t))+21∥x˙(t)∥2
满足
dtdE=−γ∥x˙(t)∥2≤0.
离散算法并不会自动继承这种单调性。其稳定性取决于步长、阻尼以及目标函数的曲率。
在二次目标函数上的表现
最清晰的分析针对严格凸二次函数:
f(x)=21xTAx−bTx,
其中,A 是对称正定矩阵。唯一的极小点为 x⋆=A−1b。
记 ek=xk−x⋆,则有
ek+1=((1+β)I−αA)ek−βek−1.
利用 A 的特征向量,可以将迭代分解为各个标量误差分量。沿特征值为 λ 的特征向量方向,误差满足递推关系
zk+1=(1+β−αλ)zk−βzk−1.
其特征方程为
r2−(1+β−αλ)r+β=0.
该方向上的收敛要求两个根的模都小于 1。当 0≤β<1 时,这等价于
0<αλ<2(1+β).
因此,若最大特征值为 L,则整个二次函数迭代在以下条件下稳定:
0<α<L2(1+β).
这些条件针对的是正定二次函数,并不是非线性目标函数的通用收敛判据。
给定谱区间上的最优常数参数
假设特征值位于 [μ,L] 内,其中 0<μ<L,并定义谱条件数
κ=μL.
使该区间内最坏情形下的特征根模最小的经典重球参数为
α⋆=(L+μ)24,β⋆=(L+μL−μ)2.
由此得到的最坏情形渐近根因子为
ρ⋆=κ+1κ−1.
相比之下,在同一类二次函数上,经最优调参的固定步长梯度下降具有误差收缩因子
ρGD=κ+1κ−1.
这种对 κ 的平方根依赖,解释了动量法在病态二次函数上的潜在优势。
重球法的根因子描述的是渐近性质,并不一定能给出形如 ∥ek∥≤Cρ⋆k、其中 C 为固定常数的界。谱区间端点处的重特征根可能引入 kρ⋆k 等多项式因子,而且暂态效应可能十分显著。
重球动量与 Nesterov 加速
Boris Polyak 于 1964 年提出了经典重球法。Yurii Nesterov 于 1983 年提出了另一种相关但不同的方法,即Nesterov 加速梯度法。其一种常见表示形式为
yk=xk+βk(xk−xk−1),
xk+1=yk−αk∇f(yk).
两者的核心区别在于计算梯度的位置:
- 重球动量在当前点 xk 计算梯度。
- Nesterov 加速在外推点 yk 计算梯度。
这一区别在理论上具有重要影响。对于梯度满足常数为 L 的利普希茨连续性的凸目标函数,适当的 Nesterov 方案可以达到
f(xk)−f(x⋆)=O(k−2),
而梯度下降在同一类光滑凸函数上的标准目标函数值保证为 O(k−1)。对于 μ-强凸、L-光滑的目标函数,加速方案将目标函数误差缩小至原来的给定比例 ε 所需的迭代复杂度正比于
μLlogε1
采用二次函数最优参数的经典重球动量,并不会自动获得这些一般性保证。在二次函数上表现良好的参数,可能在非二次目标函数上失效,即使这些目标函数光滑且强凸也是如此。因此,针对二次函数的加速与一般凸优化中的加速是两种不同的结果。
随机优化与机器学习
动量广泛用于机器学习中的随机梯度下降,尤其常见于人工神经网络的训练。在这种情形下,以估计梯度 gk 代替精确梯度;该估计通常由一个小批量训练样本计算得到:
vk+1=βvk−αkgk,xk+1=xk+vk+1.
累积梯度能够在不同小批量之间存在波动的情况下,仍然保持持续的运动方向。不过,任何将其解释为噪声平滑的说法,都必须考虑归一化方式。归一化移动平均会平滑其输入,而未归一化的动量缓冲还会增大增益。对于恒定梯度 g,后者趋近于
m=1−βg.
因此,在保持学习率不变的同时增大 β,会同时改变记忆长度和更新幅度。
随机动量还涉及以下几个需要额外考虑的问题:
- 极小点附近的噪声。 在使用固定非零学习率时,持续存在的梯度噪声通常会使迭代无法收敛到一个精确的点。迭代点可能在极小点附近波动。
- 方向变化。 当局部几何结构或采样梯度快速变化时,已存储动量的方向可能变得不再合适。
- 学习率调度。 调度策略的效果,部分取决于实现中存储的是梯度还是位移。
- 参数相互作用。 学习率、动量、批量大小和正则化共同影响更新的动力学行为。
Adam优化器也会维护梯度的指数加权一阶矩估计,但还结合了二阶矩缩放和偏差修正。因此,它并不只是换了一个系数的经典动量法。
应用与局限
动量法在大规模可微优化中颇具吸引力,因为它通常每次迭代只需计算一次梯度,并额外存储一个向量。它不需要显式构造海森矩阵。其应用包括最小化训练损失函数、大规模最小二乘目标函数,以及含有大量参数的可微模型的目标函数。
其主要局限是对调参较为敏感,以及简单模型问题与一般目标函数之间存在差距。具体而言:
- 目标函数值不一定单调下降。 迭代点可能穿过一个低函数值区域,并在保留速度的情况下暂时向函数值增大的方向移动。
- 曲率估计可能不准确。 经典最优参数公式所需的 μ 和 L 可能未知,或在定义域的不同区域存在显著差异。
- 非凸问题需要单独分析。 动量既不保证找到全局极小点,也不保证总能逃离鞍点。
- 存在约束时需要修改算法。 无约束更新可能使迭代点离开可行集。引入投影或其他约束处理形式,会改变算法及其分析。
- 动量不能替代预条件化。 动量的记忆作用可以改善收敛,却无法解决所有坐标尺度差异带来的困难。
因此,关于加速效果的论断,取决于目标函数类别、参数选择、梯度精度,以及采用目标函数误差、到极小点的距离还是梯度范数来衡量性能。