aiwiki.page
中文
计算机 / 人工智能 / weight-decay

权重衰减

权重衰减通过在训练中缩小选定参数来正则化机器学习模型,其效果取决于优化器及其实现。

27 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
机器学习正则化人工神经网络过拟合损失函数学习率随机梯度下降岭回归权重衰减

权重衰减是机器学习中的一种正则化技术,在训练过程中使选定的模型参数向零收缩。它广泛用于人工神经网络,以影响优化过程找到的解,并帮助减少过拟合。对于普通梯度下降,乘法形式的权重衰减等价于在训练目标中加入参数平方惩罚项。但对于自适应优化器,这两种操作通常并不相同。这一区别是理解解耦权重衰减和 AdamW 优化器的关键。

数学定义

设 θt\theta_t 表示第 tt 步的可训练参数向量,L(θ)L(\theta) 表示依赖数据的损失函数,gtg_t 表示其梯度,该梯度可以通过小批量数据估计。一种常见的权重衰减更新规则为

θt+1=(1−ηtλ)θt−ηtgt,\theta_{t+1} = (1-\eta_t\lambda)\theta_t-\eta_t g_t,

其中,ηt\eta_t 为学习率,λ≥0\lambda\geq 0 为衰减系数。

因子 1−ηtλ1-\eta_t\lambda 独立于损失梯度,对当前参数向量进行收缩。在通常的条件 0≤ηtλ<10\leq\eta_t\lambda<1 下,如果没有数据梯度,参数就会向零收缩。在实际训练中,梯度可能抵消这种收缩,因此单个权重以及整体参数范数不一定每一步都会减小。

术语和系数的约定并不统一。有些表述直接使用每一步的收缩因子,例如 1−δt1-\delta_t,而不将其写成 1−ηtλ1-\eta_t\lambda。因此,如果没有给出更新规则,仅报告一个“权重衰减”数值并不能完整说明其含义。

与 L2 正则化的关系

L2 正则化通过加入欧几里得范数平方惩罚项来修改优化目标:

J(θ)=L(θ)+λ2∥θ∥22.J(\theta) = L(\theta)+\frac{\lambda}{2}\|\theta\|_2^2.

其梯度为

∇J(θ)=∇L(θ)+λθ.\nabla J(\theta)=\nabla L(\theta)+\lambda\theta.

应用普通梯度下降可得

θt+1=θt−ηt(gt+λθt)=(1−ηtλ)θt−ηtgt.\theta_{t+1} = \theta_t-\eta_t\bigl(g_t+\lambda\theta_t\bigr) = (1-\eta_t\lambda)\theta_t-\eta_t g_t.

因此,对于普通梯度下降,包括不带动量的随机梯度下降,L2 正则化和乘法形式的权重衰减在代数上等价。如果惩罚项写成 λ∥θ∥22\lambda\|\theta\|_2^2,不含因子 1/21/2,那么它对梯度的贡献就变为 2λθ2\lambda\theta。

这种等价关系并不适用于任意优化算法。具体而言:

  • **动量:**将 λθt\lambda\theta_t 加入梯度,会使惩罚项的贡献累积到动量状态中。将参数收缩与动量分开、直接施加于参数,通常会产生不同的优化轨迹。
  • **自适应学习率:**对合并后的梯度进行变换时,惩罚项的贡献也会随之变换,使其效果取决于优化器按坐标进行的缩放以及梯度历史。

在线性最小二乘模型中,相应的系数平方惩罚项构成了岭回归的基础。上述等价关系针对的是目标函数及其优化过程,并不意味着所有名为“权重衰减”的优化器选项都实现了相同的过程。

耦合与解耦的权重衰减

自适应优化器中的耦合正则化

Adam优化器维护梯度及梯度平方的移动平均值。在耦合的 L2 实现中,优化器接收的是

g~t=gt+λθt.\widetilde g_t=g_t+\lambda\theta_t.

随后,两个矩估计都使用 g~t\widetilde g_t 计算。因此,正则化项的贡献既会影响优化器的内部状态,其自身也会受到自适应缩放的影响。

使用预条件矩阵 PtP_t 可以更简单地说明这一点:

θt+1=θt−ηtPt(gt+λθt).\theta_{t+1} = \theta_t-\eta_tP_t(g_t+\lambda\theta_t).

这里,惩罚项产生的是 −ηtλPtθt-\eta_t\lambda P_t\theta_t,而不是统一的乘法收缩。在 Adam 中,由于矩估计也包含了惩罚项,这种相互作用更为复杂。

解耦权重衰减与 AdamW

解耦权重衰减将参数收缩与梯度变换分离。其形式可概括为

θt+1=(1−ηtλ)θt−ηtUt(g1,…,gt),\theta_{t+1} = (1-\eta_t\lambda)\theta_t-\eta_tU_t(g_1,\ldots,g_t),

其中,UtU_t 是优化器根据数据梯度计算的更新方向,计算时不加入衰减项。

AdamW优化器将这一原则应用于 Adam。一种标准的更新规则为

θt+1=(1−ηtλ)θt−ηtm^tv^t+ϵ,\theta_{t+1} = (1-\eta_t\lambda)\theta_t - \eta_t \frac{\widehat m_t}{\sqrt{\widehat v_t}+\epsilon},

其中的除法按元素进行,m^t\widehat m_t 和 v^t\widehat v_t 是经过偏差校正的矩估计,ϵ\epsilon 是用于保证数值稳定性的常数。

提出 AdamW 的这项重要研究由伊利亚·洛希洛夫(Ilya Loshchilov)和弗兰克·胡特(Frank Hutter)于 2017 年首次发布,并于 2019 年在 ICLR 上以《解耦权重衰减正则化》(Decoupled Weight Decay Regularization)为题发表。该研究强调,对于自适应优化器,不应将 L2 正则化和权重衰减视为可以互换的操作。

解耦使收缩操作独立于 Adam 的梯度预条件处理,但它并未消除与学习率之间的所有相互作用:在上述更新中,每一步的收缩程度仍取决于 ηtλ\eta_t\lambda。此外,AdamW 通常也不等价于对“原始损失加上固定 L2 惩罚项”的目标运行 Adam。

对学习和泛化的影响

权重衰减抑制过大的参数幅值,并改变模型的归纳偏置。在适当条件下,它可以降低模型拟合训练数据中偶然波动的倾向,从而改善泛化(机器学习)表现。衰减过强则可能导致欠拟合。

它的作用在岭回归中尤为直观。对于目标函数

12∥Xθ−y∥22+λ2∥θ∥22,\frac12\|X\theta-y\|_2^2+\frac{\lambda}{2}\|\theta\|_2^2,

当 λ>0\lambda>0 时,其解为

θ^=(X⊤X+λI)−1X⊤y,\widehat\theta = (X^\top X+\lambda I)^{-1}X^\top y,

其中,XX 为设计矩阵,yy 为目标向量。惩罚项会使系数收缩,并改善线性系统的条件性。

在深度学习中,权重大小与模型复杂度之间的关系没有这么直接。同一个函数可以由网络的不同参数化方式表示。例如,使用 ReLU 这类正齐次的激活函数时,将某一层的权重按比例放大,同时将后一层的权重按相应比例缩小,可以使网络所表示的函数保持不变。

批量归一化引入了更多的尺度不变性;这种不变性在理想化表述中是精确的,在实际实现中则是近似的。对于具有尺度不变性的参数,权重衰减可以通过改变参数范数,进而改变方向更新的有效幅度来影响优化,而不只是降低所表示函数的表达能力。因此,较小的权重范数并不总是意味着更简单的预测模型。

参数选择与训练配置

权重衰减通常施加于权重矩阵和卷积核。偏置以及归一化层中可学习的缩放和偏移参数往往被排除在外,在 Transformer架构的训练中尤其如此。这些排除做法属于惯例,而不是数学上的要求。

实际效果取决于以下几项选择:

  • 衰减系数:λ\lambda 是一个超参数,通常使用验证集来选择。
  • **学习率调度:**当收缩按学习率缩放时,降低学习率也会减小每一步的衰减程度。
  • **更新次数:**优化器每多执行一步,就多一次收缩的机会。
  • **参数组:**不同的参数子集可以使用不同的系数,包括零。
  • **损失的归约方式:**对样本损失求和而不是取平均,会改变梯度的尺度,也会改变正则化设置的数值含义。

忽略数据梯度时,经过 TT 步后的累积收缩为

θT=[∏t=0T−1(1−ηtλ)]θ0.\theta_T = \left[\prod_{t=0}^{T-1}(1-\eta_t\lambda)\right]\theta_0.

当每个 ηtλ\eta_t\lambda 都很小时,

∏t=0T−1(1−ηtλ)≈exp⁡(−λ∑t=0T−1ηt).\prod_{t=0}^{T-1}(1-\eta_t\lambda) \approx \exp\left(-\lambda\sum_{t=0}^{T-1}\eta_t\right).

这解释了为什么同一个系数在不同的训练时长、批量大小或学习率调度下会产生不同效果。梯度累积也会产生影响,因为衰减通常在优化器执行更新时施加,而不是在每个梯度累积步骤中施加。

PyTorch 和 TensorFlow 等库提供了优化器层面的权重衰减机制。实际行为取决于优化器文档中给出的更新方程、排除哪些参数,以及如何处理没有梯度的参数;仅凭选项名称不足以判断。

局限与相关方法

权重衰减通常使参数持续收缩,而不是将其精确地置为零。因此,它通常不属于显式特征选择或模型剪枝方法。L1 惩罚和诱导稀疏性的方法具有不同的数学效果。

权重衰减可以与随机失活、数据增强和早停法结合使用,但这些方法的作用方式不同:随机失活扰动训练时的计算,数据增强改变提供给模型的训练样本,而早停法限制优化的持续时间。

权重衰减还依赖于参数化方式和输入缩放。对所有坐标施加相同的惩罚,不一定意味着对它们影响预测的程度施加了相同的惩罚;当线性模型的特征采用不同单位时,这一点尤其明显。权重衰减不能普遍保证鲁棒性、经过校准的不确定性估计,或在分布偏移下取得良好表现。