{
  "id": "momentum-optimization",
  "title": "动量法（优化）",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "动量法将当前梯度与累积的历史更新相结合，以影响后续迭代的方向和步长。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "动量方法",
    "动量梯度下降法",
    "重球法"
  ],
  "generated_at": "2026-11-06",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/momentum-optimization/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/momentum-optimization/",
      "json": "https://aiwiki.page/en/momentum-optimization.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "动量法是数学优化中的一种技术，它在基于梯度的更新中加入先前更新的贡献。算法并非仅根据当前梯度来确定每一步，而是维护一个状态，在迭代之间传递信息。当各次梯度的方向保持一致时，这可以加快沿这些方向的推进，并减少病态目标函数所引起的部分振荡。其经典形式是鲍里斯·波利亚克于1964年提出的重球法。动量也用于随机梯度下降、加速优化方法以及训练人工神经网络的算法。"
    },
    {
      "heading": "基本形式",
      "text": "考虑无约束问题\n\n\\[\\min_{x\\in\\mathbb{R}^d} f(x),\\]\n\n其中，\\(f\\) 是可微的目标函数。普通的梯度下降采用\n\n\\[x_{t+1}=x_t-\\alpha_t\\nabla f(x_t),\\]\n\n其中，\\(\\alpha_t>0\\) 为步长，也称学习率。\n\n重球动量法则采用\n\n\\[x_{t+1} =x_t-\\alpha_t\\nabla f(x_t) +\\beta_t(x_t-x_{t-1}),\\]\n\n其中，\\(\\beta_t\\) 为动量系数，通常取值于区间 \\(0\\leq\\beta_t<1\\)。新增项保留了前一次位移的一部分。\n\n当参数恒定时，等价的速度形式为\n\n\\[v_{t+1}=\\beta v_t-\\alpha\\nabla f(x_t), \\qquad x_{t+1}=x_t+v_{t+1}.\\]\n\n一种常见的初始化方式是 \\(v_0=0\\)，对应于初始时没有运动。令 \\(\\beta=0\\)，便得到梯度下降。\n\n另一种常见约定是存储累积梯度：\n\n\\[m_{t+1}=\\beta m_t+g_t, \\qquad x_{t+1}=x_t-\\eta m_{t+1},\\]\n\n其中，\\(g_t\\) 可以是完整梯度，也可以是随机估计。在 \\(\\eta=\\alpha\\) 恒定且初始化相容时，这一形式与速度形式产生相同的迭代点。如果学习率随迭代变化，这两种约定就不一定等价：前者存储历史位移，后者存储历史梯度。"
    },
    {
      "heading": "累积与平滑",
      "text": "将梯度累积量展开可得\n\n\\[m_{t+1} =\\beta^{t+1}m_0+ \\sum_{k=0}^{t}\\beta^{t-k}g_k.\\]\n\n因此，历史梯度的权重按几何级数递减。方向始终一致的梯度会相互增强；反复改变方向的梯度则可能部分抵消。\n\n归一化的指数移动平均则采用\n\n\\[\\bar m_{t+1} =\\beta\\bar m_t+(1-\\beta)g_t.\\]\n\n当 \\(\\beta\\) 恒定且均初始化为零时，这两种累积量之间只相差一个固定的比例因子。因此，要得到相同的参数更新，就必须相应调整学习率。\n\n对于恒定梯度 \\(g\\)，未归一化的累积量趋于 \\(g/(1-\\beta)\\)。因此，在这种情况下，增大 \\(\\beta\\) 而保持学习率不变，也会增大最终的更新幅度。比较不同动量系数时，必须考虑这一缩放效应。\n\n当 \\(\\beta\\) 接近1时，特征记忆长度大致按 \\(1/(1-\\beta)\\) 增长。因此，较大的系数能更长久地保留信息，但也会使更新在梯度改变方向时反应更慢。\n\n力学解释\n\n“重球”这一名称来自一个力学类比：粒子在势场中受到摩擦作用而运动。一个相关的连续时间模型是\n\n\\[\\ddot x(t)+\\gamma\\dot x(t)+\\nabla f(x(t))=0,\\]\n\n其中，\\(\\gamma>0\\) 表示阻尼。这是一个二阶常微分方程，不同于一阶的梯度流方程。\n\n这一类比既解释了运动的持续性，也解释了过冲：即使瞬时作用力已经改变方向，运动仍可能继续。但这只是一种解释，并不意味着在每一种实现中，算法所存储的状态都等同于物理动量。"
    },
    {
      "heading": "在二次目标函数上的行为",
      "text": "对于严格凸二次函数，其机制尤为清晰：\n\n\\[f(x)=\\frac12 x^\\mathsf{T}Ax-b^\\mathsf{T}x,\\]\n\n其中，\\(A\\) 是对称正定矩阵。其唯一极小点为 \\(x^\\star=A^{-1}b\\)。\n\n记 \\(e_t=x_t-x^\\star\\)，重球迭代可写为\n\n\\[e_{t+1} =\\bigl((1+\\beta)I-\\alpha A\\bigr)e_t-\\beta e_{t-1}.\\]\n\n沿 \\(A\\) 的特征向量分解，可将其化为各个独立的标量递推。对于特征值 \\(\\lambda>0\\)，相应误差分量满足\n\n\\[z_{t+1}=(1+\\beta-\\alpha\\lambda)z_t-\\beta z_{t-1}.\\]\n\n对应的特征多项式\n\n\\[r^2-(1+\\beta-\\alpha\\lambda)r+\\beta=0\\]\n\n的根决定了该分量是衰减、振荡还是发散。\n\n对于 \\(0\\leq\\beta<1\\)，如果每个特征值均满足\n\n\\[0<\\alpha\\lambda<2(1+\\beta)\\]\n\n则所有分量都收敛到零。特别地，若最大特征值为 \\(L\\)，这一条件可写为\n\n\\[0<\\alpha<\\frac{2(1+\\beta)}{L}.\\]\n\n这是针对二次问题的稳定性结论，并不是对任意非线性目标函数的一般收敛保证。\n\n加速与条件数\n\n假设特征值位于 \\([\\mu,L]\\) 内，其中 \\(0<\\mu<L\\)，并定义谱条件数\n\n\\[\\kappa=\\frac{L}{\\mu}.\\]\n\n使该区间内最坏情况下的渐近特征根模最小的经典参数为\n\n\\[\\alpha_\\star =\\frac{4}{(\\sqrt L+\\sqrt\\mu)^2}, \\qquad \\beta_\\star =\\left(\\frac{\\sqrt L-\\sqrt\\mu} {\\sqrt L+\\sqrt\\mu}\\right)^2.\\]\n\n由此得到的最坏情况渐近收敛因子为\n\n\\[q=\\frac{\\sqrt\\kappa-1}{\\sqrt\\kappa+1}.\\]\n\n相比之下，在相同谱区间上，经过最优调参的固定步长梯度下降的收敛因子为\n\n\\[\\frac{\\kappa-1}{\\kappa+1}.\\]\n\n当 \\(\\kappa\\) 很大时，这使得特征迭代次数尺度从依赖于 \\(\\kappa\\) 变为依赖于 \\(\\sqrt\\kappa\\)。\n\n这些因子描述的是渐近行为。重特征根可能引入关于迭代次数的多项式因子，而在进入渐近阶段之前，也可能出现显著的暂态振荡。"
    },
    {
      "heading": "重球动量与Nesterov加速",
      "text": "1983年提出的Nesterov加速梯度法与动量法有关，但采用的更新规则并不相同。一种常见的表示形式为\n\n\\[y_t=x_t+\\beta_t(x_t-x_{t-1}),\\]\n\n\\[x_{t+1}=y_t-\\alpha_t\\nabla f(y_t).\\]\n\n梯度是在外推点 \\(y_t\\) 而不是 \\(x_t\\) 处计算的。这改变了外推与梯度修正之间的相互作用。\n\n采用适当的参数调度时，Nesterov加速方法对凸优化中研究的广泛问题类别具有全局收敛保证。对于梯度满足 \\(L\\)-Lipschitz 条件的目标函数，标准加速方案可达到如下阶的目标函数误差界：\n\n\\[f(x_t)-f(x^\\star)=O(t^{-2}),\\]\n\n而在类似的光滑凸性假设下，基本梯度下降的误差界为 \\(O(t^{-1})\\)。\n\n对于强凸问题，加速方案将误差降至容差 \\(\\varepsilon\\) 所需的迭代复杂度可达到\n\n\\[O\\!\\left(\\sqrt{\\frac{L}{\\mu}}\\log\\frac1\\varepsilon\\right)\\]\n\n这里省略了与初始误差有关的项。\n\n重球法在二次问题上的最优表现，并不能为每一个光滑、强凸的非线性函数确立同样的全局保证。尤其是，针对二次目标函数优化得到的参数，可能在这类函数之外失效。因此，“动量”和“加速”是相关概念，但在论及收敛速率时不能互换使用。"
    },
    {
      "heading": "随机动量",
      "text": "在机器学习中，损失函数汇总了大量训练样本，因此计算完整梯度可能代价高昂。此时可用随机梯度或小批量梯度估计来替代：\n\n\\[g_t=\\nabla f(x_t)+\\xi_t,\\]\n\n其中，\\(\\xi_t\\) 表示估计噪声。\n\n累积可以平滑快速波动的梯度信息。作为说明，考虑对独立同分布、均值为零且协方差矩阵为 \\(\\Sigma\\) 的噪声向量进行归一化指数平均。其平稳协方差为\n\n\\[\\operatorname{Cov}(\\bar m) =\\frac{1-\\beta}{1+\\beta}\\Sigma.\\]\n\n这一计算描述的是底层信号固定时对噪声进行平均的情形。在优化过程中，迭代点与梯度相互影响，连续的噪声项未必满足这些假设。因此，仅凭这一结果，不能证明参数误差更小或收敛更快。\n\n动量并不能消除随机不确定性。在学习率固定时，即使确定性迭代本来能够收敛，持续存在的噪声通常也会阻碍迭代精确收敛到极小点。递减步长、改变批量大小以及引入额外假设，会产生不同的收敛情形。\n\n收益还取决于底层梯度变化的速度。长记忆可以平滑噪声，但也会保留过时的方向，尤其是在目标函数的海森矩阵变化显著的区域。"
    },
    {
      "heading": "相关自适应方法",
      "text": "Adam优化器将梯度的指数平均与逐坐标缩放相结合，后者由梯度平方的指数平均计算得到。其一阶矩状态类似于动量，但完整的更新并非经典重球动量，因为其中还包含自适应缩放和偏差修正。\n\n动量法也不同于以下方法：\n\n- 牛顿法：利用二阶信息变换梯度。\n- 正则化：修改优化问题或约束其解，而不仅仅是为更新加入记忆。\n- 线搜索：通过评估沿某个方向的表现来选择步长。\n\n这些技术可以与动量结合使用，但它们各自针对优化过程中的不同环节。"
    },
    {
      "heading": "实践局限与实现差异",
      "text": "参数耦合。 学习率与动量共同决定更新的动态行为。在不改变学习率的情况下增大动量，可能同时增强方向的持续性并增大有效步长。\n\n非单调行为。 目标函数值不一定在每次迭代中都下降。暂时上升并不妨碍最终收敛，但持续振荡也可能意味着不稳定。\n\n对曲率变化敏感。 固定二次函数上的良好结果，并不能自动推广到曲率沿迭代轨迹发生变化的目标函数。局部二次分析虽有用，但并不完整。\n\n不自动保证全局解。 对于非凸目标函数，仅凭动量并不能保证避开每一个鞍点，也不能保证收敛到全局极小点。\n\n状态与约定。 经典动量法需要额外存储一个与参数维数相同的向量。不同实现在初始化、梯度归一化、学习率调度以及学习率因子的放置位置上各有差异。即使使用数值相同的动量系数，这些选择也可能产生不同的迭代轨迹。"
    }
  ],
  "links": [
    "mathematical-optimization",
    "gradient",
    "stochastic-gradient-descent",
    "artificial-neural-network",
    "objective-function",
    "gradient-descent",
    "ordinary-differential-equation",
    "positive-definite-matrix",
    "eigenvalues-and-eigenvectors",
    "characteristic-polynomial",
    "condition-number",
    "convex-optimization",
    "machine-learning",
    "loss-function",
    "covariance-matrix",
    "hessian-matrix",
    "adam-optimizer",
    "newtons-method",
    "regularization",
    "line-search",
    "saddle-point"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}