权重衰减是机器学习中的一种正则化技术,在训练过程中使选定的模型参数向零收缩。它广泛用于人工神经网络,以影响优化过程找到的解,并帮助减少过拟合。对于普通梯度下降,乘法形式的权重衰减等价于在训练目标中加入参数平方惩罚项。但对于自适应优化器,这两种操作通常并不相同。这一区别是理解解耦权重衰减和 AdamW 优化器的关键。
数学定义
设 表示第 步的可训练参数向量, 表示依赖数据的损失函数, 表示其梯度,该梯度可以通过小批量数据估计。一种常见的权重衰减更新规则为
其中, 为学习率, 为衰减系数。
因子 独立于损失梯度,对当前参数向量进行收缩。在通常的条件 下,如果没有数据梯度,参数就会向零收缩。在实际训练中,梯度可能抵消这种收缩,因此单个权重以及整体参数范数不一定每一步都会减小。
术语和系数的约定并不统一。有些表述直接使用每一步的收缩因子,例如 ,而不将其写成 。因此,如果没有给出更新规则,仅报告一个“权重衰减”数值并不能完整说明其含义。
与 L2 正则化的关系
L2 正则化通过加入欧几里得范数平方惩罚项来修改优化目标:
其梯度为
应用普通梯度下降可得
因此,对于普通梯度下降,包括不带动量的随机梯度下降,L2 正则化和乘法形式的权重衰减在代数上等价。如果惩罚项写成 ,不含因子 ,那么它对梯度的贡献就变为 。
这种等价关系并不适用于任意优化算法。具体而言:
- **动量:**将 加入梯度,会使惩罚项的贡献累积到动量状态中。将参数收缩与动量分开、直接施加于参数,通常会产生不同的优化轨迹。
- **自适应学习率:**对合并后的梯度进行变换时,惩罚项的贡献也会随之变换,使其效果取决于优化器按坐标进行的缩放以及梯度历史。
在线性最小二乘模型中,相应的系数平方惩罚项构成了岭回归的基础。上述等价关系针对的是目标函数及其优化过程,并不意味着所有名为“权重衰减”的优化器选项都实现了相同的过程。
耦合与解耦的权重衰减
自适应优化器中的耦合正则化
Adam优化器维护梯度及梯度平方的移动平均值。在耦合的 L2 实现中,优化器接收的是
随后,两个矩估计都使用 计算。因此,正则化项的贡献既会影响优化器的内部状态,其自身也会受到自适应缩放的影响。
使用预条件矩阵 可以更简单地说明这一点:
这里,惩罚项产生的是 ,而不是统一的乘法收缩。在 Adam 中,由于矩估计也包含了惩罚项,这种相互作用更为复杂。
解耦权重衰减与 AdamW
解耦权重衰减将参数收缩与梯度变换分离。其形式可概括为
其中, 是优化器根据数据梯度计算的更新方向,计算时不加入衰减项。
AdamW优化器将这一原则应用于 Adam。一种标准的更新规则为
其中的除法按元素进行, 和 是经过偏差校正的矩估计, 是用于保证数值稳定性的常数。
提出 AdamW 的这项重要研究由伊利亚·洛希洛夫(Ilya Loshchilov)和弗兰克·胡特(Frank Hutter)于 2017 年首次发布,并于 2019 年在 ICLR 上以《解耦权重衰减正则化》(Decoupled Weight Decay Regularization)为题发表。该研究强调,对于自适应优化器,不应将 L2 正则化和权重衰减视为可以互换的操作。
解耦使收缩操作独立于 Adam 的梯度预条件处理,但它并未消除与学习率之间的所有相互作用:在上述更新中,每一步的收缩程度仍取决于 。此外,AdamW 通常也不等价于对“原始损失加上固定 L2 惩罚项”的目标运行 Adam。
对学习和泛化的影响
权重衰减抑制过大的参数幅值,并改变模型的归纳偏置。在适当条件下,它可以降低模型拟合训练数据中偶然波动的倾向,从而改善泛化(机器学习)表现。衰减过强则可能导致欠拟合。
它的作用在岭回归中尤为直观。对于目标函数
当 时,其解为
其中, 为设计矩阵, 为目标向量。惩罚项会使系数收缩,并改善线性系统的条件性。
在深度学习中,权重大小与模型复杂度之间的关系没有这么直接。同一个函数可以由网络的不同参数化方式表示。例如,使用 ReLU 这类正齐次的激活函数时,将某一层的权重按比例放大,同时将后一层的权重按相应比例缩小,可以使网络所表示的函数保持不变。
批量归一化引入了更多的尺度不变性;这种不变性在理想化表述中是精确的,在实际实现中则是近似的。对于具有尺度不变性的参数,权重衰减可以通过改变参数范数,进而改变方向更新的有效幅度来影响优化,而不只是降低所表示函数的表达能力。因此,较小的权重范数并不总是意味着更简单的预测模型。
参数选择与训练配置
权重衰减通常施加于权重矩阵和卷积核。偏置以及归一化层中可学习的缩放和偏移参数往往被排除在外,在 Transformer架构的训练中尤其如此。这些排除做法属于惯例,而不是数学上的要求。
实际效果取决于以下几项选择:
- 衰减系数: 是一个超参数,通常使用验证集来选择。
- **学习率调度:**当收缩按学习率缩放时,降低学习率也会减小每一步的衰减程度。
- **更新次数:**优化器每多执行一步,就多一次收缩的机会。
- **参数组:**不同的参数子集可以使用不同的系数,包括零。
- **损失的归约方式:**对样本损失求和而不是取平均,会改变梯度的尺度,也会改变正则化设置的数值含义。
忽略数据梯度时,经过 步后的累积收缩为
当每个 都很小时,
这解释了为什么同一个系数在不同的训练时长、批量大小或学习率调度下会产生不同效果。梯度累积也会产生影响,因为衰减通常在优化器执行更新时施加,而不是在每个梯度累积步骤中施加。
PyTorch 和 TensorFlow 等库提供了优化器层面的权重衰减机制。实际行为取决于优化器文档中给出的更新方程、排除哪些参数,以及如何处理没有梯度的参数;仅凭选项名称不足以判断。
局限与相关方法
权重衰减通常使参数持续收缩,而不是将其精确地置为零。因此,它通常不属于显式特征选择或模型剪枝方法。L1 惩罚和诱导稀疏性的方法具有不同的数学效果。
权重衰减可以与随机失活、数据增强和早停法结合使用,但这些方法的作用方式不同:随机失活扰动训练时的计算,数据增强改变提供给模型的训练样本,而早停法限制优化的持续时间。
权重衰减还依赖于参数化方式和输入缩放。对所有坐标施加相同的惩罚,不一定意味着对它们影响预测的程度施加了相同的惩罚;当线性模型的特征采用不同单位时,这一点尤其明显。权重衰减不能普遍保证鲁棒性、经过校准的不确定性估计,或在分布偏移下取得良好表现。