{
  "id": "momentum-method",
  "title": "动量法",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "动量法结合当前梯度与以往更新的加权记忆，加速迭代优化过程。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "动量梯度下降法",
    "Polyak动量法",
    "重球法"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/momentum-method/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/momentum-method/",
      "json": "https://aiwiki.page/en/momentum-method.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "动量法是数学优化中的一种方法，它利用当前梯度以及先前更新的加权贡献来更新候选解。通过保留运动方向，当梯度方向持续一致时，它可以加快沿这些方向的推进，并减轻普通梯度下降中的部分之字形振荡。其经典形式称为重球法或 Polyak动量法。在更广泛的意义上，“动量方法”还包括一些相关算法，它们的梯度计算位置和收敛性质有所不同。"
    },
    {
      "heading": "更新规则",
      "text": "考虑无约束最小化问题\n\n\\[\\min_{x\\in\\mathbb{R}^{d}} f(x),\\]\n\n其中，\\(f\\) 是可微的目标函数。经典动量迭代为\n\n\\[x_{k+1} = x_k-\\alpha\\nabla f(x_k)+\\beta(x_k-x_{k-1}),\\]\n\n其中，\\(\\alpha>0\\) 是步长，也称学习率；\\(\\beta\\) 是动量系数，通常在区间 \\(0\\leq\\beta<1\\) 内选取。\n\n引入位移 \\(v_k=x_k-x_{k-1}\\)，可得到等价形式\n\n\\[v_{k+1}=\\beta v_k-\\alpha\\nabla f(x_k), \\qquad x_{k+1}=x_k+v_{k+1}.\\]\n\n典型的初始化方式是令 \\(v_0=0\\)，这等价于令 \\(x_{-1}=x_0\\)。当 \\(\\beta=0\\) 时，该方法退化为普通梯度下降。\n\n另一种约定是累积梯度而非位移：\n\n\\[m_{k+1}=\\beta m_k+g_k, \\qquad x_{k+1}=x_k-\\alpha m_{k+1},\\]\n\n在确定性优化中，\\(g_k=\\nabla f(x_k)\\)。当 \\(\\alpha\\) 为常数且初始条件匹配时，通过关系 \\(v_k=-\\alpha m_k\\)，可知这一形式与前述形式等价。\n\n另有一些实现采用\n\n\\[m_{k+1}=\\beta m_k+(1-\\beta)g_k.\\]\n\n这种归一化约定需要相应地调整学习率的尺度，才能产生相同的参数更新。当学习率随时间变化时，如果不作额外调整，梯度缓冲形式与位移缓冲形式未必仍然等价。"
    },
    {
      "heading": "记忆与力学解释",
      "text": "在 \\(v_0=0\\) 且参数恒定的情况下，展开更新式可得\n\n\\[v_{k+1} = -\\alpha\\sum_{j=0}^{k}\\beta^{k-j}\\nabla f(x_j).\\]\n\n因此，当前位移包含了按指数加权的历史梯度。当 \\(\\beta\\) 接近 1 时，特征记忆长度约为 \\(1/(1-\\beta)\\) 次迭代。\n\n如果连续几次梯度的方向相近，它们的贡献就会相互增强。如果梯度的符号交替变化——例如算法反复穿越狭窄谷地时经常出现的情形——累积的贡献就可能部分抵消。这解释了动量为何能够改善算法在细长等值集中的推进表现。但这并不意味着动量总能减轻振荡：参数选择不当反而可能放大振荡。\n\n“重球”一词源于一种力学类比：粒子在势场中运动，同时受到摩擦力作用。对应的常微分方程为\n\n\\[\\ddot{x}(t)+\\gamma\\dot{x}(t)+\\nabla f(x(t))=0,\\]\n\n其中，\\(\\gamma>0\\) 表示阻尼。用有限差分近似加速度和速度，可得\n\n\\[x_{k+1} = x_k-h^2\\nabla f(x_k) +(1-\\gamma h)(x_k-x_{k-1}),\\]\n\n这正是动量形式，其中 \\(\\alpha=h^2\\)，\\(\\beta=1-\\gamma h\\)。\n\n对于足够正则的轨迹，连续时间下的机械能\n\n\\[E(t)=f(x(t))+\\frac12\\|\\dot{x}(t)\\|^2\\]\n\n满足\n\n\\[\\frac{dE}{dt}=-\\gamma\\|\\dot{x}(t)\\|^2\\leq 0.\\]\n\n离散算法并不会自动继承这种单调性。其稳定性取决于步长、阻尼以及目标函数的曲率。"
    },
    {
      "heading": "在二次目标函数上的表现",
      "text": "最清晰的分析针对严格凸二次函数：\n\n\\[f(x)=\\frac12x^{\\mathsf T}Ax-b^{\\mathsf T}x,\\]\n\n其中，\\(A\\) 是对称正定矩阵。唯一的极小点为 \\(x^\\star=A^{-1}b\\)。\n\n记 \\(e_k=x_k-x^\\star\\)，则有\n\n\\[e_{k+1} = \\bigl((1+\\beta)I-\\alpha A\\bigr)e_k-\\beta e_{k-1}.\\]\n\n利用 \\(A\\) 的特征向量，可以将迭代分解为各个标量误差分量。沿特征值为 \\(\\lambda\\) 的特征向量方向，误差满足递推关系\n\n\\[z_{k+1}=(1+\\beta-\\alpha\\lambda)z_k-\\beta z_{k-1}.\\]\n\n其特征方程为\n\n\\[r^2-(1+\\beta-\\alpha\\lambda)r+\\beta=0.\\]\n\n该方向上的收敛要求两个根的模都小于 1。当 \\(0\\leq\\beta<1\\) 时，这等价于\n\n\\[0<\\alpha\\lambda<2(1+\\beta).\\]\n\n因此，若最大特征值为 \\(L\\)，则整个二次函数迭代在以下条件下稳定：\n\n\\[0<\\alpha<\\frac{2(1+\\beta)}{L}.\\]\n\n这些条件针对的是正定二次函数，并不是非线性目标函数的通用收敛判据。\n\n给定谱区间上的最优常数参数\n\n假设特征值位于 \\([\\mu,L]\\) 内，其中 \\(0<\\mu<L\\)，并定义谱条件数\n\n\\[\\kappa=\\frac{L}{\\mu}.\\]\n\n使该区间内最坏情形下的特征根模最小的经典重球参数为\n\n\\[\\alpha_\\star = \\frac{4}{(\\sqrt L+\\sqrt\\mu)^2}, \\qquad \\beta_\\star = \\left( \\frac{\\sqrt L-\\sqrt\\mu} {\\sqrt L+\\sqrt\\mu} \\right)^2.\\]\n\n由此得到的最坏情形渐近根因子为\n\n\\[\\rho_\\star = \\frac{\\sqrt\\kappa-1}{\\sqrt\\kappa+1}.\\]\n\n相比之下，在同一类二次函数上，经最优调参的固定步长梯度下降具有误差收缩因子\n\n\\[\\rho_{\\mathrm{GD}}=\\frac{\\kappa-1}{\\kappa+1}.\\]\n\n这种对 \\(\\kappa\\) 的平方根依赖，解释了动量法在病态二次函数上的潜在优势。\n\n重球法的根因子描述的是渐近性质，并不一定能给出形如 \\(\\|e_k\\|\\leq C\\rho_\\star^k\\)、其中 \\(C\\) 为固定常数的界。谱区间端点处的重特征根可能引入 \\(k\\rho_\\star^k\\) 等多项式因子，而且暂态效应可能十分显著。"
    },
    {
      "heading": "重球动量与 Nesterov 加速",
      "text": "Boris Polyak 于 1964 年提出了经典重球法。Yurii Nesterov 于 1983 年提出了另一种相关但不同的方法，即Nesterov 加速梯度法。其一种常见表示形式为\n\n\\[y_k=x_k+\\beta_k(x_k-x_{k-1}),\\]\n\n\\[x_{k+1}=y_k-\\alpha_k\\nabla f(y_k).\\]\n\n两者的核心区别在于计算梯度的位置：\n\n- 重球动量在当前点 \\(x_k\\) 计算梯度。\n- Nesterov 加速在外推点 \\(y_k\\) 计算梯度。\n\n这一区别在理论上具有重要影响。对于梯度满足常数为 \\(L\\) 的利普希茨连续性的凸目标函数，适当的 Nesterov 方案可以达到\n\n\\[f(x_k)-f(x^\\star)=O(k^{-2}),\\]\n\n而梯度下降在同一类光滑凸函数上的标准目标函数值保证为 \\(O(k^{-1})\\)。对于 \\(\\mu\\)-强凸、\\(L\\)-光滑的目标函数，加速方案将目标函数误差缩小至原来的给定比例 \\(\\varepsilon\\) 所需的迭代复杂度正比于\n\n\\[\\sqrt{\\frac{L}{\\mu}}\\log\\frac{1}{\\varepsilon}\\]\n\n采用二次函数最优参数的经典重球动量，并不会自动获得这些一般性保证。在二次函数上表现良好的参数，可能在非二次目标函数上失效，即使这些目标函数光滑且强凸也是如此。因此，针对二次函数的加速与一般凸优化中的加速是两种不同的结果。"
    },
    {
      "heading": "随机优化与机器学习",
      "text": "动量广泛用于机器学习中的随机梯度下降，尤其常见于人工神经网络的训练。在这种情形下，以估计梯度 \\(g_k\\) 代替精确梯度；该估计通常由一个小批量训练样本计算得到：\n\n\\[v_{k+1}=\\beta v_k-\\alpha_k g_k, \\qquad x_{k+1}=x_k+v_{k+1}.\\]\n\n累积梯度能够在不同小批量之间存在波动的情况下，仍然保持持续的运动方向。不过，任何将其解释为噪声平滑的说法，都必须考虑归一化方式。归一化移动平均会平滑其输入，而未归一化的动量缓冲还会增大增益。对于恒定梯度 \\(g\\)，后者趋近于\n\n\\[m=\\frac{g}{1-\\beta}.\\]\n\n因此，在保持学习率不变的同时增大 \\(\\beta\\)，会同时改变记忆长度和更新幅度。\n\n随机动量还涉及以下几个需要额外考虑的问题：\n\n- 极小点附近的噪声。 在使用固定非零学习率时，持续存在的梯度噪声通常会使迭代无法收敛到一个精确的点。迭代点可能在极小点附近波动。\n- 方向变化。 当局部几何结构或采样梯度快速变化时，已存储动量的方向可能变得不再合适。\n- 学习率调度。 调度策略的效果，部分取决于实现中存储的是梯度还是位移。\n- 参数相互作用。 学习率、动量、批量大小和正则化共同影响更新的动力学行为。\n\nAdam优化器也会维护梯度的指数加权一阶矩估计，但还结合了二阶矩缩放和偏差修正。因此，它并不只是换了一个系数的经典动量法。"
    },
    {
      "heading": "应用与局限",
      "text": "动量法在大规模可微优化中颇具吸引力，因为它通常每次迭代只需计算一次梯度，并额外存储一个向量。它不需要显式构造海森矩阵。其应用包括最小化训练损失函数、大规模最小二乘目标函数，以及含有大量参数的可微模型的目标函数。\n\n其主要局限是对调参较为敏感，以及简单模型问题与一般目标函数之间存在差距。具体而言：\n\n- 目标函数值不一定单调下降。 迭代点可能穿过一个低函数值区域，并在保留速度的情况下暂时向函数值增大的方向移动。\n- 曲率估计可能不准确。 经典最优参数公式所需的 \\(\\mu\\) 和 \\(L\\) 可能未知，或在定义域的不同区域存在显著差异。\n- 非凸问题需要单独分析。 动量既不保证找到全局极小点，也不保证总能逃离鞍点。\n- 存在约束时需要修改算法。 无约束更新可能使迭代点离开可行集。引入投影或其他约束处理形式，会改变算法及其分析。\n- 动量不能替代预条件化。 动量的记忆作用可以改善收敛，却无法解决所有坐标尺度差异带来的困难。\n\n因此，关于加速效果的论断，取决于目标函数类别、参数选择、梯度精度，以及采用目标函数误差、到极小点的距离还是梯度范数来衡量性能。"
    }
  ],
  "links": [
    "mathematical-optimization",
    "gradient",
    "gradient-descent",
    "objective-function",
    "ordinary-differential-equation",
    "positive-definite-matrix",
    "eigenvalues-and-eigenvectors",
    "recurrence-relation",
    "condition-number",
    "lipschitz-continuity",
    "machine-learning",
    "stochastic-gradient-descent",
    "artificial-neural-network",
    "regularization",
    "adam-optimizer",
    "hessian-matrix",
    "loss-function",
    "saddle-point",
    "feasible-set"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}