{
  "id": "adamw",
  "title": "AdamW",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "AdamW是一种自适应优化算法，将权重衰减与Adam的梯度更新解耦，直接收缩参数而不影响梯度矩估计。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "AdamW优化器"
  ],
  "generated_at": "2026-11-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/adamw/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/adamw/",
      "json": "https://aiwiki.page/en/adamw.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "AdamW是一种数学优化算法，用于训练人工神经网络和其他可微模型。它在Adam优化器的基础上进行了修改，将权重衰减直接应用于模型参数，与基于梯度的更新分开执行。这一区别很重要：在训练目标中加入参数平方惩罚项，是某些优化器实现权重衰减的传统方式，但在Adam逐坐标自适应缩放的机制下，这种方式并不能产生相同的更新。AdamW保留了Adam对梯度和梯度平方的移动平均，同时避免权重衰减项参与这些平均值的计算。"
    },
    {
      "heading": "背景与发展",
      "text": "机器学习中的优化通常通过调整模型参数，来降低在成批训练数据上计算的损失函数值。梯度通常通过反向传播计算，表示损失随各个参数变化的情况。\n\nAdam将梯度的移动平均与梯度平方的移动平均结合起来。这些统计量使更新能够逐坐标自适应调整：即使不同参数采用相同的全局学习率，它们的有效步长也可能不同。\n\nAdamW由伊利亚·洛什奇洛夫（Ilya Loshchilov）和弗兰克·胡特（Frank Hutter）提出，相关工作于2017年首次公开，并于2019年以《解耦权重衰减正则化》（Decoupled Weight Decay Regularization）为题发表于国际学习表征会议。他们的核心观察是：权重衰减与\\(L_2\\)惩罚虽然常被视为可以互换，但在梯度更新经过自适应缩放时，两者就不再等价。\n\n此后，AdamW在深度学习中得到广泛应用，尤其常用于Transformer架构模型。PyTorch和TensorFlow等框架均提供了相应实现。"
    },
    {
      "heading": "更新规则",
      "text": "设\\(\\theta_{t-1}\\)表示第\\(t\\)个优化步骤之前的参数向量，并令\n\n\\[g_t=\\nabla_\\theta \\mathcal{L}_t(\\theta_{t-1})\\]\n\n表示批次损失的梯度。在AdamW中，这一梯度不包含解耦的权重衰减部分。\n\n从\\(m_0=0\\)和\\(v_0=0\\)开始，一阶矩和二阶矩的估计为\n\n\\[m_t=\\beta_1m_{t-1}+(1-\\beta_1)g_t,\\]\n\n\\[v_t=\\beta_2v_{t-1}+(1-\\beta_2)g_t^2.\\]\n\n平方运算及后续向量运算均按元素进行。第二个量估计的是未中心化的二阶矩，而不是方差。\n\n由于移动平均从零开始，Adam会进行偏差修正：\n\n\\[\\hat m_t=\\frac{m_t}{1-\\beta_1^t}, \\qquad \\hat v_t=\\frac{v_t}{1-\\beta_2^t}.\\]\n\n一种常见的AdamW更新形式为\n\n\\[\\theta_t = (1-\\alpha_t\\lambda)\\theta_{t-1} - \\alpha_t \\frac{\\hat m_t}{\\sqrt{\\hat v_t}+\\epsilon},\\]\n\n其中：\n\n- \\(\\alpha_t\\)是第\\(t\\)步的学习率；\n- \\(\\lambda\\geq 0\\)是权重衰减系数；\n- \\(\\beta_1\\)和\\(\\beta_2\\)控制移动平均；\n- \\(\\epsilon>0\\)用于保证数值稳定性。\n\n第一项使参数向零收缩，第二项则是普通的Adam自适应更新。关键在于，\\(m_t\\)和\\(v_t\\)的计算都不包含来自\\(\\lambda\\theta_{t-1}\\)的贡献。\n\n这一公式描述了一种广泛使用的约定，即衰减系数要乘以学习率。论文和软件可能采用不同的参数化方式或数值计算安排，因此，仅仅同样使用“AdamW”这一名称，并不能保证更新完全一致。"
    },
    {
      "heading": "解耦为何重要",
      "text": "对普通随机梯度下降的等价性\n\n考虑带有\\(L_2\\)惩罚的目标函数：\n\n\\[\\mathcal{J}(\\theta) = \\mathcal{L}(\\theta) + \\frac{\\lambda}{2}\\|\\theta\\|_2^2.\\]\n\n其梯度为\n\n\\[\\nabla\\mathcal{J}(\\theta) = \\nabla\\mathcal{L}(\\theta)+\\lambda\\theta.\\]\n\n对于不带动量的普通随机梯度下降，由此得到的更新为\n\n\\[\\theta_t = \\theta_{t-1} - \\alpha_t \\left(g_t+\\lambda\\theta_{t-1}\\right) = (1-\\alpha_t\\lambda)\\theta_{t-1}-\\alpha_tg_t.\\]\n\n因此，在这一系数约定下，加入\\(L_2\\)惩罚与乘法形式的权重衰减完全等价。\n\n这种等价性并不能自动推广到带有动量或自适应梯度变换的优化器。\n\n对Adam的不等价性\n\n如果在Adam优化的目标函数中加入\\(L_2\\)惩罚，优化器接收到的梯度就是\n\n\\[g_t^{\\mathrm{reg}}=g_t+\\lambda\\theta_{t-1}.\\]\n\n两个移动平均随后都根据这一修改后的梯度计算。因此，惩罚项不仅会影响当前更新，还会影响优化器的累积状态。它的影响与历史梯度混合，并在不同坐标上受到不同程度的缩放。\n\n相比之下，AdamW在自适应计算之外直接对参数进行收缩。对于采用相同衰减系数的参数，无论其梯度矩估计如何，乘法收缩因子都相同。\n\n因此，两者的差异远不只是把一个原本相同的项移到代码中的另一个位置：耦合的\\(L_2\\)正则化与解耦的权重衰减会产生不同的状态轨迹，而且通常也会产生不同的参数轨迹。\n\n从正则化角度理解\n\n权重衰减是一种正则化方式，会影响优化轨迹，并可能有助于减轻过拟合。但AdamW的更新通常并不等价于对“损失加上固定的欧几里得\\(L_2\\)惩罚”运行普通Adam。\n\n同样，参数收缩也不能保证更好的泛化（机器学习）表现。其效果取决于模型、数据、训练时长以及其他优化设置。"
    },
    {
      "heading": "超参数与训练调度",
      "text": "AdamW保留了Adam的主要超参数，并增加了一个明确解耦的权重衰减系数。\n\n超参数 | 作用\n学习率\\(\\alpha_t\\) | 控制自适应更新的尺度；在上述约定下，也控制每一步的收缩程度\n一阶矩系数\\(\\beta_1\\) | 决定梯度移动平均对新梯度的响应速度\n二阶矩系数\\(\\beta_2\\) | 决定梯度平方移动平均的响应速度\n稳定项\\(\\epsilon\\) | 影响数值稳定性，以及二阶矩估计较小时的更新\n权重衰减系数\\(\\lambda\\) | 控制所选参数的直接收缩程度\n\n常见实现默认使用\\(\\beta_1=0.9\\)和\\(\\beta_2=0.999\\)，但具体训练系统也可能采用不同设置。\n\n“解耦”并不意味着权重衰减在数值上独立于学习率。在上述更新中，每一步的收缩程度取决于\\(\\alpha_t\\lambda\\)。如果只考虑\\(T\\)步内乘法衰减的贡献，则有\n\n\\[\\theta_T = \\left[ \\prod_{t=1}^{T}(1-\\alpha_t\\lambda) \\right]\\theta_0.\\]\n\n当每个\\(\\alpha_t\\lambda\\)都很小时，这个因子近似为\n\n\\[\\exp\\left(-\\lambda\\sum_{t=1}^{T}\\alpha_t\\right).\\]\n\n因此，即使\\(\\lambda\\)保持不变，改变学习率调度、优化器步数或训练时长，也会改变累积衰减。这个表达式仅单独描述衰减的贡献，并不是存在梯度更新时的完整轨迹。"
    },
    {
      "heading": "参数分组与实现",
      "text": "训练系统经常将参数分成不同的组，并为各组设置不同的学习率或衰减系数。Transformer训练中的一种常见做法是对权重矩阵施加衰减，但排除偏置参数以及层归一化的缩放和偏移参数。这些排除规则是训练配置中的选择，而不是AdamW本身的要求。\n\n以下若干实现细节会影响可复现性：\n\n- 惩罚项的施加位置。 在启用AdamW衰减的同时向损失中加入\\(L_2\\)惩罚，会同时应用这两种机制。\n- 梯度裁剪。 在AdamW更新之前裁剪损失梯度，通常不会裁剪单独的衰减部分。\n- 梯度缺失。 软件库可能跳过没有梯度的参数，而梯度被显式设为零的参数仍可能发生衰减，并根据已有的矩估计进行更新。\n- 梯度累积。 衰减通常在每个优化器步骤中应用一次，而不是每累积一个批次就应用一次。\n- 数值计算约定。 epsilon的位置、浮点精度以及融合或并行实现，都可能导致结果差异。\n\n在复现实验或跨框架迁移配置时，这些细节十分重要。"
    },
    {
      "heading": "应用与计算成本",
      "text": "AdamW广泛用于训练大语言模型、视觉Transformer和其他深度神经网络。它也用于微调，但合适的参数分组和正则化强度可能与预训练时不同。\n\n它的计算成本与Adam基本相同。对于\\(n\\)个需要更新的参数，一次稠密优化器步骤的时间复杂度为\\(O(n)\\)，并需要维护两个与参数规模相同的额外状态数组，以保存矩估计。权重衰减增加了一次逐元素运算，而这一步通常可以与其他更新操作合并。\n\n对于大型模型，优化器状态可能占用大量内存。分布式计算训练系统可以对这些状态进行分片，而低精度或压缩优化器变体可以改变其存储需求。这些技术与定义AdamW的解耦规则彼此独立。"
    },
    {
      "heading": "局限与比较",
      "text": "对于非凸的神经网络目标函数，AdamW并不能保证收敛到全局最小值。将权重衰减解耦本身，也不能消除基础Adam方法已知的收敛局限。\n\n与普通随机梯度下降相比，AdamW需要更多的优化器状态内存，并执行额外的逐元素运算。其自适应更新能否提高训练速度或最终预测性能，取决于任务和调参预算。两种优化器都不具有普遍优势。\n\n权重衰减也不能普遍替代其他正则化机制。随机失活、数据增强和早停法以不同方式影响训练。此外，在采用尺度不变参数化的网络中，减小参数范数可能会改变实际的优化动力学，却不会按比例改变网络所表示的函数。因此，仅凭参数范数较小，并不能认定模型更简单或泛化能力更好。"
    }
  ],
  "links": [
    "mathematical-optimization",
    "artificial-neural-network",
    "adam-optimizer",
    "weight-decay",
    "machine-learning",
    "training-data",
    "loss-function",
    "backpropagation",
    "learning-rate",
    "deep-learning",
    "transformer-architecture",
    "pytorch",
    "tensorflow",
    "stochastic-gradient-descent",
    "regularization",
    "overfitting",
    "generalization",
    "hyperparameter",
    "layer-normalization",
    "large-language-model",
    "vision-transformer",
    "fine-tuning",
    "distributed-computing",
    "dropout",
    "data-augmentation",
    "early-stopping"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}