{
  "id": "weight-decay",
  "title": "权重衰减",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "权重衰减通过在训练中缩小选定参数来正则化机器学习模型，其效果取决于优化器及其实现。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "权值衰减"
  ],
  "generated_at": "2026-11-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/weight-decay/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/weight-decay/",
      "json": "https://aiwiki.page/en/weight-decay.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "权重衰减是机器学习中的一种正则化技术，在训练过程中使选定的模型参数向零收缩。它广泛用于人工神经网络，以影响优化过程找到的解，并帮助减少过拟合。对于普通梯度下降，乘法形式的权重衰减等价于在训练目标中加入参数平方惩罚项。但对于自适应优化器，这两种操作通常并不相同。这一区别是理解解耦权重衰减和 AdamW 优化器的关键。"
    },
    {
      "heading": "数学定义",
      "text": "设 \\(\\theta_t\\) 表示第 \\(t\\) 步的可训练参数向量，\\(L(\\theta)\\) 表示依赖数据的损失函数，\\(g_t\\) 表示其梯度，该梯度可以通过小批量数据估计。一种常见的权重衰减更新规则为\n\n\\[\\theta_{t+1} = (1-\\eta_t\\lambda)\\theta_t-\\eta_t g_t,\\]\n\n其中，\\(\\eta_t\\) 为学习率，\\(\\lambda\\geq 0\\) 为衰减系数。\n\n因子 \\(1-\\eta_t\\lambda\\) 独立于损失梯度，对当前参数向量进行收缩。在通常的条件 \\(0\\leq\\eta_t\\lambda<1\\) 下，如果没有数据梯度，参数就会向零收缩。在实际训练中，梯度可能抵消这种收缩，因此单个权重以及整体参数范数不一定每一步都会减小。\n\n术语和系数的约定并不统一。有些表述直接使用每一步的收缩因子，例如 \\(1-\\delta_t\\)，而不将其写成 \\(1-\\eta_t\\lambda\\)。因此，如果没有给出更新规则，仅报告一个“权重衰减”数值并不能完整说明其含义。"
    },
    {
      "heading": "与 L2 正则化的关系",
      "text": "L2 正则化通过加入欧几里得范数平方惩罚项来修改优化目标：\n\n\\[J(\\theta) = L(\\theta)+\\frac{\\lambda}{2}\\|\\theta\\|_2^2.\\]\n\n其梯度为\n\n\\[\\nabla J(\\theta)=\\nabla L(\\theta)+\\lambda\\theta.\\]\n\n应用普通梯度下降可得\n\n\\[\\theta_{t+1} = \\theta_t-\\eta_t\\bigl(g_t+\\lambda\\theta_t\\bigr) = (1-\\eta_t\\lambda)\\theta_t-\\eta_t g_t.\\]\n\n因此，对于普通梯度下降，包括不带动量的随机梯度下降，L2 正则化和乘法形式的权重衰减在代数上等价。如果惩罚项写成 \\(\\lambda\\|\\theta\\|_2^2\\)，不含因子 \\(1/2\\)，那么它对梯度的贡献就变为 \\(2\\lambda\\theta\\)。\n\n这种等价关系并不适用于任意优化算法。具体而言：\n\n- **动量：**将 \\(\\lambda\\theta_t\\) 加入梯度，会使惩罚项的贡献累积到动量状态中。将参数收缩与动量分开、直接施加于参数，通常会产生不同的优化轨迹。\n- **自适应学习率：**对合并后的梯度进行变换时，惩罚项的贡献也会随之变换，使其效果取决于优化器按坐标进行的缩放以及梯度历史。\n\n在线性最小二乘模型中，相应的系数平方惩罚项构成了岭回归的基础。上述等价关系针对的是目标函数及其优化过程，并不意味着所有名为“权重衰减”的优化器选项都实现了相同的过程。"
    },
    {
      "heading": "耦合与解耦的权重衰减",
      "text": "自适应优化器中的耦合正则化\n\nAdam优化器维护梯度及梯度平方的移动平均值。在耦合的 L2 实现中，优化器接收的是\n\n\\[\\widetilde g_t=g_t+\\lambda\\theta_t.\\]\n\n随后，两个矩估计都使用 \\(\\widetilde g_t\\) 计算。因此，正则化项的贡献既会影响优化器的内部状态，其自身也会受到自适应缩放的影响。\n\n使用预条件矩阵 \\(P_t\\) 可以更简单地说明这一点：\n\n\\[\\theta_{t+1} = \\theta_t-\\eta_tP_t(g_t+\\lambda\\theta_t).\\]\n\n这里，惩罚项产生的是 \\(-\\eta_t\\lambda P_t\\theta_t\\)，而不是统一的乘法收缩。在 Adam 中，由于矩估计也包含了惩罚项，这种相互作用更为复杂。\n\n解耦权重衰减与 AdamW\n\n解耦权重衰减将参数收缩与梯度变换分离。其形式可概括为\n\n\\[\\theta_{t+1} = (1-\\eta_t\\lambda)\\theta_t-\\eta_tU_t(g_1,\\ldots,g_t),\\]\n\n其中，\\(U_t\\) 是优化器根据数据梯度计算的更新方向，计算时不加入衰减项。\n\nAdamW优化器将这一原则应用于 Adam。一种标准的更新规则为\n\n\\[\\theta_{t+1} = (1-\\eta_t\\lambda)\\theta_t - \\eta_t \\frac{\\widehat m_t}{\\sqrt{\\widehat v_t}+\\epsilon},\\]\n\n其中的除法按元素进行，\\(\\widehat m_t\\) 和 \\(\\widehat v_t\\) 是经过偏差校正的矩估计，\\(\\epsilon\\) 是用于保证数值稳定性的常数。\n\n提出 AdamW 的这项重要研究由伊利亚·洛希洛夫（Ilya Loshchilov）和弗兰克·胡特（Frank Hutter）于 2017 年首次发布，并于 2019 年在 ICLR 上以《解耦权重衰减正则化》（Decoupled Weight Decay Regularization）为题发表。该研究强调，对于自适应优化器，不应将 L2 正则化和权重衰减视为可以互换的操作。\n\n解耦使收缩操作独立于 Adam 的梯度预条件处理，但它并未消除与学习率之间的所有相互作用：在上述更新中，每一步的收缩程度仍取决于 \\(\\eta_t\\lambda\\)。此外，AdamW 通常也不等价于对“原始损失加上固定 L2 惩罚项”的目标运行 Adam。"
    },
    {
      "heading": "对学习和泛化的影响",
      "text": "权重衰减抑制过大的参数幅值，并改变模型的归纳偏置。在适当条件下，它可以降低模型拟合训练数据中偶然波动的倾向，从而改善泛化（机器学习）表现。衰减过强则可能导致欠拟合。\n\n它的作用在岭回归中尤为直观。对于目标函数\n\n\\[\\frac12\\|X\\theta-y\\|_2^2+\\frac{\\lambda}{2}\\|\\theta\\|_2^2,\\]\n\n当 \\(\\lambda>0\\) 时，其解为\n\n\\[\\widehat\\theta = (X^\\top X+\\lambda I)^{-1}X^\\top y,\\]\n\n其中，\\(X\\) 为设计矩阵，\\(y\\) 为目标向量。惩罚项会使系数收缩，并改善线性系统的条件性。\n\n在深度学习中，权重大小与模型复杂度之间的关系没有这么直接。同一个函数可以由网络的不同参数化方式表示。例如，使用 ReLU 这类正齐次的激活函数时，将某一层的权重按比例放大，同时将后一层的权重按相应比例缩小，可以使网络所表示的函数保持不变。\n\n批量归一化引入了更多的尺度不变性；这种不变性在理想化表述中是精确的，在实际实现中则是近似的。对于具有尺度不变性的参数，权重衰减可以通过改变参数范数，进而改变方向更新的有效幅度来影响优化，而不只是降低所表示函数的表达能力。因此，较小的权重范数并不总是意味着更简单的预测模型。"
    },
    {
      "heading": "参数选择与训练配置",
      "text": "权重衰减通常施加于权重矩阵和卷积核。偏置以及归一化层中可学习的缩放和偏移参数往往被排除在外，在 Transformer架构的训练中尤其如此。这些排除做法属于惯例，而不是数学上的要求。\n\n实际效果取决于以下几项选择：\n\n- 衰减系数：\\(\\lambda\\) 是一个超参数，通常使用验证集来选择。\n- **学习率调度：**当收缩按学习率缩放时，降低学习率也会减小每一步的衰减程度。\n- **更新次数：**优化器每多执行一步，就多一次收缩的机会。\n- **参数组：**不同的参数子集可以使用不同的系数，包括零。\n- **损失的归约方式：**对样本损失求和而不是取平均，会改变梯度的尺度，也会改变正则化设置的数值含义。\n\n忽略数据梯度时，经过 \\(T\\) 步后的累积收缩为\n\n\\[\\theta_T = \\left[\\prod_{t=0}^{T-1}(1-\\eta_t\\lambda)\\right]\\theta_0.\\]\n\n当每个 \\(\\eta_t\\lambda\\) 都很小时，\n\n\\[\\prod_{t=0}^{T-1}(1-\\eta_t\\lambda) \\approx \\exp\\left(-\\lambda\\sum_{t=0}^{T-1}\\eta_t\\right).\\]\n\n这解释了为什么同一个系数在不同的训练时长、批量大小或学习率调度下会产生不同效果。梯度累积也会产生影响，因为衰减通常在优化器执行更新时施加，而不是在每个梯度累积步骤中施加。\n\nPyTorch 和 TensorFlow 等库提供了优化器层面的权重衰减机制。实际行为取决于优化器文档中给出的更新方程、排除哪些参数，以及如何处理没有梯度的参数；仅凭选项名称不足以判断。"
    },
    {
      "heading": "局限与相关方法",
      "text": "权重衰减通常使参数持续收缩，而不是将其精确地置为零。因此，它通常不属于显式特征选择或模型剪枝方法。L1 惩罚和诱导稀疏性的方法具有不同的数学效果。\n\n权重衰减可以与随机失活、数据增强和早停法结合使用，但这些方法的作用方式不同：随机失活扰动训练时的计算，数据增强改变提供给模型的训练样本，而早停法限制优化的持续时间。\n\n权重衰减还依赖于参数化方式和输入缩放。对所有坐标施加相同的惩罚，不一定意味着对它们影响预测的程度施加了相同的惩罚；当线性模型的特征采用不同单位时，这一点尤其明显。权重衰减不能普遍保证鲁棒性、经过校准的不确定性估计，或在分布偏移下取得良好表现。"
    }
  ],
  "links": [
    "machine-learning",
    "regularization",
    "artificial-neural-network",
    "overfitting",
    "loss-function",
    "learning-rate",
    "stochastic-gradient-descent",
    "ridge-regression",
    "adam-optimizer",
    "adamw",
    "inductive-bias",
    "training-data",
    "generalization",
    "underfitting",
    "deep-learning",
    "activation-function",
    "batch-normalization",
    "transformer-architecture",
    "hyperparameter",
    "validation-set",
    "pytorch",
    "tensorflow",
    "dropout",
    "data-augmentation",
    "early-stopping",
    "distribution-shift"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}