AdamW是一种数学优化算法,用于训练人工神经网络和其他可微模型。它在Adam优化器的基础上进行了修改,将权重衰减直接应用于模型参数,与基于梯度的更新分开执行。这一区别很重要:在训练目标中加入参数平方惩罚项,是某些优化器实现权重衰减的传统方式,但在Adam逐坐标自适应缩放的机制下,这种方式并不能产生相同的更新。AdamW保留了Adam对梯度和梯度平方的移动平均,同时避免权重衰减项参与这些平均值的计算。
背景与发展
机器学习中的优化通常通过调整模型参数,来降低在成批训练数据上计算的损失函数值。梯度通常通过反向传播计算,表示损失随各个参数变化的情况。
Adam将梯度的移动平均与梯度平方的移动平均结合起来。这些统计量使更新能够逐坐标自适应调整:即使不同参数采用相同的全局学习率,它们的有效步长也可能不同。
AdamW由伊利亚·洛什奇洛夫(Ilya Loshchilov)和弗兰克·胡特(Frank Hutter)提出,相关工作于2017年首次公开,并于2019年以《解耦权重衰减正则化》(Decoupled Weight Decay Regularization)为题发表于国际学习表征会议。他们的核心观察是:权重衰减与惩罚虽然常被视为可以互换,但在梯度更新经过自适应缩放时,两者就不再等价。
此后,AdamW在深度学习中得到广泛应用,尤其常用于Transformer架构模型。PyTorch和TensorFlow等框架均提供了相应实现。
更新规则
设表示第个优化步骤之前的参数向量,并令
表示批次损失的梯度。在AdamW中,这一梯度不包含解耦的权重衰减部分。
从和开始,一阶矩和二阶矩的估计为
平方运算及后续向量运算均按元素进行。第二个量估计的是未中心化的二阶矩,而不是方差。
由于移动平均从零开始,Adam会进行偏差修正:
一种常见的AdamW更新形式为
其中:
- 是第步的学习率;
- 是权重衰减系数;
- 和控制移动平均;
- 用于保证数值稳定性。
第一项使参数向零收缩,第二项则是普通的Adam自适应更新。关键在于,和的计算都不包含来自的贡献。
这一公式描述了一种广泛使用的约定,即衰减系数要乘以学习率。论文和软件可能采用不同的参数化方式或数值计算安排,因此,仅仅同样使用“AdamW”这一名称,并不能保证更新完全一致。
解耦为何重要
对普通随机梯度下降的等价性
考虑带有惩罚的目标函数:
其梯度为
对于不带动量的普通随机梯度下降,由此得到的更新为
因此,在这一系数约定下,加入惩罚与乘法形式的权重衰减完全等价。
这种等价性并不能自动推广到带有动量或自适应梯度变换的优化器。
对Adam的不等价性
如果在Adam优化的目标函数中加入惩罚,优化器接收到的梯度就是
两个移动平均随后都根据这一修改后的梯度计算。因此,惩罚项不仅会影响当前更新,还会影响优化器的累积状态。它的影响与历史梯度混合,并在不同坐标上受到不同程度的缩放。
相比之下,AdamW在自适应计算之外直接对参数进行收缩。对于采用相同衰减系数的参数,无论其梯度矩估计如何,乘法收缩因子都相同。
因此,两者的差异远不只是把一个原本相同的项移到代码中的另一个位置:耦合的正则化与解耦的权重衰减会产生不同的状态轨迹,而且通常也会产生不同的参数轨迹。
从正则化角度理解
权重衰减是一种正则化方式,会影响优化轨迹,并可能有助于减轻过拟合。但AdamW的更新通常并不等价于对“损失加上固定的欧几里得惩罚”运行普通Adam。
同样,参数收缩也不能保证更好的泛化(机器学习)表现。其效果取决于模型、数据、训练时长以及其他优化设置。
超参数与训练调度
AdamW保留了Adam的主要超参数,并增加了一个明确解耦的权重衰减系数。
| 超参数 | 作用 |
|---|---|
| 学习率 | 控制自适应更新的尺度;在上述约定下,也控制每一步的收缩程度 |
| 一阶矩系数 | 决定梯度移动平均对新梯度的响应速度 |
| 二阶矩系数 | 决定梯度平方移动平均的响应速度 |
| 稳定项 | 影响数值稳定性,以及二阶矩估计较小时的更新 |
| 权重衰减系数 | 控制所选参数的直接收缩程度 |
常见实现默认使用和,但具体训练系统也可能采用不同设置。
“解耦”并不意味着权重衰减在数值上独立于学习率。在上述更新中,每一步的收缩程度取决于。如果只考虑步内乘法衰减的贡献,则有
当每个都很小时,这个因子近似为
因此,即使保持不变,改变学习率调度、优化器步数或训练时长,也会改变累积衰减。这个表达式仅单独描述衰减的贡献,并不是存在梯度更新时的完整轨迹。
参数分组与实现
训练系统经常将参数分成不同的组,并为各组设置不同的学习率或衰减系数。Transformer训练中的一种常见做法是对权重矩阵施加衰减,但排除偏置参数以及层归一化的缩放和偏移参数。这些排除规则是训练配置中的选择,而不是AdamW本身的要求。
以下若干实现细节会影响可复现性:
- 惩罚项的施加位置。 在启用AdamW衰减的同时向损失中加入惩罚,会同时应用这两种机制。
- 梯度裁剪。 在AdamW更新之前裁剪损失梯度,通常不会裁剪单独的衰减部分。
- 梯度缺失。 软件库可能跳过没有梯度的参数,而梯度被显式设为零的参数仍可能发生衰减,并根据已有的矩估计进行更新。
- 梯度累积。 衰减通常在每个优化器步骤中应用一次,而不是每累积一个批次就应用一次。
- 数值计算约定。 epsilon的位置、浮点精度以及融合或并行实现,都可能导致结果差异。
在复现实验或跨框架迁移配置时,这些细节十分重要。
应用与计算成本
AdamW广泛用于训练大语言模型、视觉Transformer和其他深度神经网络。它也用于微调,但合适的参数分组和正则化强度可能与预训练时不同。
它的计算成本与Adam基本相同。对于个需要更新的参数,一次稠密优化器步骤的时间复杂度为,并需要维护两个与参数规模相同的额外状态数组,以保存矩估计。权重衰减增加了一次逐元素运算,而这一步通常可以与其他更新操作合并。
对于大型模型,优化器状态可能占用大量内存。分布式计算训练系统可以对这些状态进行分片,而低精度或压缩优化器变体可以改变其存储需求。这些技术与定义AdamW的解耦规则彼此独立。
局限与比较
对于非凸的神经网络目标函数,AdamW并不能保证收敛到全局最小值。将权重衰减解耦本身,也不能消除基础Adam方法已知的收敛局限。
与普通随机梯度下降相比,AdamW需要更多的优化器状态内存,并执行额外的逐元素运算。其自适应更新能否提高训练速度或最终预测性能,取决于任务和调参预算。两种优化器都不具有普遍优势。
权重衰减也不能普遍替代其他正则化机制。随机失活、数据增强和早停法以不同方式影响训练。此外,在采用尺度不变参数化的网络中,减小参数范数可能会改变实际的优化动力学,却不会按比例改变网络所表示的函数。因此,仅凭参数范数较小,并不能认定模型更简单或泛化能力更好。