学习率调度是在迭代式数学优化过程中改变学习率的规则,尤其常用于训练机器学习模型。调度策略并非在整个训练过程中使用固定步长,而是根据训练进度、观测到的性能,或两者共同调整步长。调度策略可以降低学习率、暂时提高学习率,或让学习率在较大值与较小值之间交替变化。它们会影响优化推进的速度、参数更新的稳定性,以及最终模型的质量。
在优化中的作用
对于随机梯度下降(SGD),基本的参数更新形式为
其中, 表示第 次更新时的模型参数, 是根据一批训练数据计算得到的梯度估计, 是学习率。调度策略规定了 如何变化。
较大的学习率允许参数发生较大的变化,可以加快训练初期的进展。学习率过大则可能导致振荡、更新不稳定或发散。较小的学习率可以实现更精细的调整,但可能使训练变慢,或导致训练在有限的计算预算内进展甚微。
在深度学习中,损失函数通常是非凸的,而批次梯度会引入噪声。因此,改变学习率既会影响模型在损失曲面上的移动,也会影响随机波动的幅度。这些影响不仅涉及最终的训练损失,还可能影响泛化(机器学习),不过没有任何调度策略能保证在所有模型和数据集上都改善泛化表现。
调度策略通常由一组超参数构成,而不是单一设置。相关选择包括初始或峰值学习率、最低学习率、衰减时间尺度、预热长度,以及总更新次数。
训练进度的度量
调度策略需要明确定义训练进度。常见的计量单位包括:
- **优化器更新次数:**实际执行参数更新的次数。
- **训练轮数:**完整遍历训练数据集的次数。
- **已处理的样本数或词元数:**适用于比较批大小或序列长度不同的训练过程。
- **评估次数:**以测量性能指标的检查点作为进度单位。
这些单位不能互换。增大批大小会减少每轮训练中的更新次数,因此,以训练轮数定义的调度策略与以更新次数定义的调度策略会有不同的行为。使用梯度累积时,多个批次可能共同形成一次优化器更新;若每处理一个批次就推进一次调度,调度进度可能会快于预期。
调度策略可以是仅取决于进度的预定式调度,也可以是取决于验证损失等观测量的反馈式调度。
主要调度类型
恒定与分段恒定调度
恒定学习率
可作为基线。严格来说,它并不是一种动态变化的调度策略,但调度系统通常支持这种方式,而且它也可以构成组合调度中的一个阶段。
阶梯衰减在各个区间内保持学习率不变,并在指定的边界处降低学习率。对于等长区间,
其中, 是区间长度, 是衰减因子。
多步衰减则使用明确列出的里程碑。这些调度策略简单易懂,但其突变以及里程碑的选择可能对训练产生显著影响。
指数衰减与时间反比衰减
指数调度平滑地降低学习率:
其中 。另一种常见写法是 ,表示学习率在选定的时间间隔内按乘法因子缩减。
时间反比调度的形式为
更广泛的一类形式为
其中, 控制学习率下降的速度。与预设训练终点的调度不同,这些表达式不需要事先确定停止时刻。
线性衰减与多项式衰减
若计划训练 次更新,多项式衰减可写为
当 时,即为线性衰减。较大的 值会使学习率在初期下降得更快,而在接近最低值时趋于平缓。实现时必须明确 之后的行为,通常是将学习率保持在 。
由于曲线取决于预定的训练时长,在学习率已接近零之后延长训练,并不等同于从一开始就计划进行更长时间的训练。
余弦退火
余弦衰减使学习率从最大值平滑过渡到最小值:
它在区间的起始和结束附近变化较慢,在中间部分下降得更陡。
带热重启的余弦退火会重复这样的曲线。每次重启时,学习率都会再次升高,通常升至规定的最大值;周期长度可以保持不变,也可以逐渐增加。“重启”通常指学习率的重启,而不是重新初始化模型参数。是否同时重置优化器状态,是另一项独立的设计选择。
周期性调度与单周期调度
周期性调度使学习率在上下限之间反复升降。三角形周期采用近似线性的上升和下降过程;其他策略则使用平滑曲线,或逐步降低各周期的峰值。
单周期策略先将学习率提高到最大值,然后再降低,通常以远低于初始值的学习率结束。有些实现还会让动量随学习率反向变化。这类策略在合适的条件下可以支持快速训练,但其表现取决于峰值学习率、优化器、批大小,以及其他形式的正则化。
预热与组合调度
学习率预热以较小的学习率开始训练,再逐步将其提高到目标值。在 次更新内进行线性预热,可表示为
预热之后通常会采用线性、余弦、多项式或平方根倒数衰减。因此,预热通常是更大调度方案中的一个阶段,而不是独立的完整策略。
在初始化后的早期阶段,参数尺度、激活值和优化器统计量会迅速变化,预热可以减轻这一阶段的不稳定性。它常见于大批量训练和采用Transformer架构的模型训练,但并非在所有情况下都有必要,其效果取决于模型和优化器。
一种广泛使用的 Transformer 调度策略将预热与平方根倒数衰减相结合:
其中, 是缩放常数, 是预热长度。学习率先线性增加,直到 ,随后按 的比例下降。
其他组合策略包括先预热,再进入恒定学习率阶段,最后进入衰减阶段。这类设计将初期稳定化、持续优化和后期精细调整区分开来。
基于性能的调度
平台期降学习率调度会在受监控指标不再取得足够改善时降低学习率。典型参数包括:
- 乘法缩减因子;
- 最小改善阈值;
- 容忍等待期;
- 降低学习率后的冷却期;
- 学习率下限。
受监控的量可以是训练损失,也可以是在验证集上测得的指标。基于验证结果的调度使训练过程能够响应留出数据上的性能,但也使验证数据参与了模型选择。用于最终评估的测试集不应控制调度策略。
平台期检测对测量噪声和评估频率十分敏感。暂时的波动可能过早触发学习率降低,而过长的容忍等待期又可能延误有益的调整。降低学习率与早停法不同:前者改变后续更新,后者则结束训练。
与自适应优化器的关系
学习率调度和自适应优化在不同层面发挥作用。
Adam优化器等自适应优化器利用梯度统计量,调整各个参数的更新尺度。调度器则改变提供给优化器的基础学习率。因此,即使 Adam 对各个参数的更新已经具有自适应性,它仍然可以使用预热、余弦衰减或其他调度策略。
实际更新还取决于动量、梯度归一化、数值稳定项、梯度裁剪和权重衰减。因此,在不同优化器下,相同的名义学习率调度可能产生截然不同的参数轨迹。
对于采用解耦权重衰减的优化器,每次更新施加的收缩量通常取决于学习率。因此,改变调度策略不仅会影响优化进程,也可能改变累积的正则化效果。
理论背景与历史发展
递减步长在随机逼近中有着悠久的历史。在适当假设下,经典收敛结果采用如下条件:
第一个条件防止可用的总移动量过早变为有限值;第二个条件则限制随机噪声的累积影响。与 成正比且满足 的调度策略符合这些求和条件。
这些条件并不是机器学习取得成功的普遍要求。相关结论取决于对目标函数、梯度噪声和优化过程所作的假设。它们并不能直接证明,在大型神经网络中使用有限训练时长的预热、余弦或周期性调度是有效的。
神经网络训练实践沿着多条路线发展:人工选定时点的阶梯式降低、平滑衰减、由指标触发的降低,以及后来出现的周期性策略和余弦热重启。预热后再衰减的方式在 Transformer 训练中逐渐得到广泛应用。这些方法反映了不同的目标——长期收敛、有限预算下的训练、初期稳定性,以及反复探索——而不是沿着单一路径逐步走向某种普遍最优的调度策略。
实现与局限
PyTorch 和 TensorFlow 等库都提供了调度机制,但各自的约定并不相同。重要的实现细节包括:调度器是在优化器更新之前还是之后推进,计数器从零还是从一开始,以及它所期望的计量单位是更新次数还是训练轮数。这些选择可能使曲线发生偏移,或改变其初始值。
要保证训练可复现,除了模型和优化器状态,还必须保存调度器状态。若载入已保存的模型,却使用全新的调度状态恢复训练,可能会重复预热,或进入错误的衰减阶段。在采用分布式计算的训练中,各参与工作进程必须使用一致的学习率和进度计数器。
调度策略还会与以下因素相互影响:
- **训练预算:**为短期训练设计的策略,在更长的训练中可能过早衰减。
- **批大小:**改变批大小会同时改变梯度噪声和更新次数。
- 微调:微调可能采用更低的学习率,或为不同参数组设置不同的学习率。
- **数据和目标的变化:**平台期可能反映的是数据难度发生了变化,而不是已经接近最优点。
- **模型选择:**更低的训练损失不一定意味着更好的验证性能。
没有任何调度策略在所有任务上都最优。有意义的比较应考虑优化器设置、批大小、训练预算、评估流程,以及超参数优化的充分程度,而不是将性能差异完全归因于调度策略。