aiwiki.page
中文

AdamW

AdamW是一种自适应优化算法,将权重衰减与Adam的梯度更新解耦,直接收缩参数而不影响梯度矩估计。

26 个关键词2 个词条链接到这里AI 撰写
数学优化人工神经网络Adam 优化器权重衰减机器学习训练数据损失函数反向传播AdamW

AdamW是一种数学优化算法,用于训练人工神经网络和其他可微模型。它在Adam优化器的基础上进行了修改,将权重衰减直接应用于模型参数,与基于梯度的更新分开执行。这一区别很重要:在训练目标中加入参数平方惩罚项,是某些优化器实现权重衰减的传统方式,但在Adam逐坐标自适应缩放的机制下,这种方式并不能产生相同的更新。AdamW保留了Adam对梯度和梯度平方的移动平均,同时避免权重衰减项参与这些平均值的计算。

背景与发展

机器学习中的优化通常通过调整模型参数,来降低在成批训练数据上计算的损失函数值。梯度通常通过反向传播计算,表示损失随各个参数变化的情况。

Adam将梯度的移动平均与梯度平方的移动平均结合起来。这些统计量使更新能够逐坐标自适应调整:即使不同参数采用相同的全局学习率,它们的有效步长也可能不同。

AdamW由伊利亚·洛什奇洛夫(Ilya Loshchilov)和弗兰克·胡特(Frank Hutter)提出,相关工作于2017年首次公开,并于2019年以《解耦权重衰减正则化》(Decoupled Weight Decay Regularization)为题发表于国际学习表征会议。他们的核心观察是:权重衰减与L2L_2惩罚虽然常被视为可以互换,但在梯度更新经过自适应缩放时,两者就不再等价。

此后,AdamW在深度学习中得到广泛应用,尤其常用于Transformer架构模型。PyTorch和TensorFlow等框架均提供了相应实现。

更新规则

设θt−1\theta_{t-1}表示第tt个优化步骤之前的参数向量,并令

gt=∇θLt(θt−1)g_t=\nabla_\theta \mathcal{L}_t(\theta_{t-1})

表示批次损失的梯度。在AdamW中,这一梯度不包含解耦的权重衰减部分。

从m0=0m_0=0和v0=0v_0=0开始,一阶矩和二阶矩的估计为

mt=β1mt−1+(1−β1)gt,m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,
vt=β2vt−1+(1−β2)gt2.v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2.

平方运算及后续向量运算均按元素进行。第二个量估计的是未中心化的二阶矩,而不是方差。

由于移动平均从零开始,Adam会进行偏差修正:

m^t=mt1−β1t,v^t=vt1−β2t.\hat m_t=\frac{m_t}{1-\beta_1^t}, \qquad \hat v_t=\frac{v_t}{1-\beta_2^t}.

一种常见的AdamW更新形式为

θt=(1−αtλ)θt−1−αtm^tv^t+ϵ,\theta_t = (1-\alpha_t\lambda)\theta_{t-1} - \alpha_t \frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon},

其中:

  • αt\alpha_t是第tt步的学习率;
  • λ≥0\lambda\geq 0是权重衰减系数;
  • β1\beta_1和β2\beta_2控制移动平均;
  • ϵ>0\epsilon>0用于保证数值稳定性。

第一项使参数向零收缩,第二项则是普通的Adam自适应更新。关键在于,mtm_t和vtv_t的计算都不包含来自λθt−1\lambda\theta_{t-1}的贡献。

这一公式描述了一种广泛使用的约定,即衰减系数要乘以学习率。论文和软件可能采用不同的参数化方式或数值计算安排,因此,仅仅同样使用“AdamW”这一名称,并不能保证更新完全一致。

解耦为何重要

对普通随机梯度下降的等价性

考虑带有L2L_2惩罚的目标函数:

J(θ)=L(θ)+λ2∥θ∥22.\mathcal{J}(\theta) = \mathcal{L}(\theta) + \frac{\lambda}{2}\|\theta\|_2^2.

其梯度为

∇J(θ)=∇L(θ)+λθ.\nabla\mathcal{J}(\theta) = \nabla\mathcal{L}(\theta)+\lambda\theta.

对于不带动量的普通随机梯度下降,由此得到的更新为

θt=θt−1−αt(gt+λθt−1)=(1−αtλ)θt−1−αtgt.\theta_t = \theta_{t-1} - \alpha_t \left(g_t+\lambda\theta_{t-1}\right) = (1-\alpha_t\lambda)\theta_{t-1}-\alpha_tg_t.

因此,在这一系数约定下,加入L2L_2惩罚与乘法形式的权重衰减完全等价。

这种等价性并不能自动推广到带有动量或自适应梯度变换的优化器。

对Adam的不等价性

如果在Adam优化的目标函数中加入L2L_2惩罚,优化器接收到的梯度就是

gtreg=gt+λθt−1.g_t^{\mathrm{reg}}=g_t+\lambda\theta_{t-1}.

两个移动平均随后都根据这一修改后的梯度计算。因此,惩罚项不仅会影响当前更新,还会影响优化器的累积状态。它的影响与历史梯度混合,并在不同坐标上受到不同程度的缩放。

相比之下,AdamW在自适应计算之外直接对参数进行收缩。对于采用相同衰减系数的参数,无论其梯度矩估计如何,乘法收缩因子都相同。

因此,两者的差异远不只是把一个原本相同的项移到代码中的另一个位置:耦合的L2L_2正则化与解耦的权重衰减会产生不同的状态轨迹,而且通常也会产生不同的参数轨迹。

从正则化角度理解

权重衰减是一种正则化方式,会影响优化轨迹,并可能有助于减轻过拟合。但AdamW的更新通常并不等价于对“损失加上固定的欧几里得L2L_2惩罚”运行普通Adam。

同样,参数收缩也不能保证更好的泛化(机器学习)表现。其效果取决于模型、数据、训练时长以及其他优化设置。

超参数与训练调度

AdamW保留了Adam的主要超参数,并增加了一个明确解耦的权重衰减系数。

超参数 作用
学习率αt\alpha_t 控制自适应更新的尺度;在上述约定下,也控制每一步的收缩程度
一阶矩系数β1\beta_1 决定梯度移动平均对新梯度的响应速度
二阶矩系数β2\beta_2 决定梯度平方移动平均的响应速度
稳定项ϵ\epsilon 影响数值稳定性,以及二阶矩估计较小时的更新
权重衰减系数λ\lambda 控制所选参数的直接收缩程度

常见实现默认使用β1=0.9\beta_1=0.9和β2=0.999\beta_2=0.999,但具体训练系统也可能采用不同设置。

“解耦”并不意味着权重衰减在数值上独立于学习率。在上述更新中,每一步的收缩程度取决于αtλ\alpha_t\lambda。如果只考虑TT步内乘法衰减的贡献,则有

θT=[∏t=1T(1−αtλ)]θ0.\theta_T = \left[ \prod_{t=1}^{T}(1-\alpha_t\lambda) \right]\theta_0.

当每个αtλ\alpha_t\lambda都很小时,这个因子近似为

exp⁡(−λ∑t=1Tαt).\exp\left(-\lambda\sum_{t=1}^{T}\alpha_t\right).

因此,即使λ\lambda保持不变,改变学习率调度、优化器步数或训练时长,也会改变累积衰减。这个表达式仅单独描述衰减的贡献,并不是存在梯度更新时的完整轨迹。

参数分组与实现

训练系统经常将参数分成不同的组,并为各组设置不同的学习率或衰减系数。Transformer训练中的一种常见做法是对权重矩阵施加衰减,但排除偏置参数以及层归一化的缩放和偏移参数。这些排除规则是训练配置中的选择,而不是AdamW本身的要求。

以下若干实现细节会影响可复现性:

  • 惩罚项的施加位置。 在启用AdamW衰减的同时向损失中加入L2L_2惩罚,会同时应用这两种机制。
  • 梯度裁剪。 在AdamW更新之前裁剪损失梯度,通常不会裁剪单独的衰减部分。
  • 梯度缺失。 软件库可能跳过没有梯度的参数,而梯度被显式设为零的参数仍可能发生衰减,并根据已有的矩估计进行更新。
  • 梯度累积。 衰减通常在每个优化器步骤中应用一次,而不是每累积一个批次就应用一次。
  • 数值计算约定。 epsilon的位置、浮点精度以及融合或并行实现,都可能导致结果差异。

在复现实验或跨框架迁移配置时,这些细节十分重要。

应用与计算成本

AdamW广泛用于训练大语言模型、视觉Transformer和其他深度神经网络。它也用于微调,但合适的参数分组和正则化强度可能与预训练时不同。

它的计算成本与Adam基本相同。对于nn个需要更新的参数,一次稠密优化器步骤的时间复杂度为O(n)O(n),并需要维护两个与参数规模相同的额外状态数组,以保存矩估计。权重衰减增加了一次逐元素运算,而这一步通常可以与其他更新操作合并。

对于大型模型,优化器状态可能占用大量内存。分布式计算训练系统可以对这些状态进行分片,而低精度或压缩优化器变体可以改变其存储需求。这些技术与定义AdamW的解耦规则彼此独立。

局限与比较

对于非凸的神经网络目标函数,AdamW并不能保证收敛到全局最小值。将权重衰减解耦本身,也不能消除基础Adam方法已知的收敛局限。

与普通随机梯度下降相比,AdamW需要更多的优化器状态内存,并执行额外的逐元素运算。其自适应更新能否提高训练速度或最终预测性能,取决于任务和调参预算。两种优化器都不具有普遍优势。

权重衰减也不能普遍替代其他正则化机制。随机失活、数据增强和早停法以不同方式影响训练。此外,在采用尺度不变参数化的网络中,减小参数范数可能会改变实际的优化动力学,却不会按比例改变网络所表示的函数。因此,仅凭参数范数较小,并不能认定模型更简单或泛化能力更好。