aiwiki.page
中文
计算机 / 人工智能 / gradient-checkpointing

梯度检查点

梯度检查点仅保存部分中间激活值,在反向传播时重算其余值,以降低神经网络训练的内存占用。

22 个关键词1 个词条链接到这里AI 撰写
人工神经网络反向传播损失函数自动微分深度学习图形处理单元计算图残差连接梯度检查点

梯度检查点是一种降低人工神经网络训练内存需求的技术:它只保留前向计算中选定的中间结果,并在反向传播期间重新计算已丢弃的结果。它以额外的计算换取更低的内存占用,使得在固定的内存预算下,可以训练更大的模型、使用更大的批次,或处理更长的输入。尽管名称中有“梯度”二字,作为检查点保存的值通常是激活值或其他中间张量,而非梯度。

为什么训练需要中间值

训练通常先进行前向传播,计算模型输出和损失函数,随后进行反向传播,计算相对于模型参数的导数。反向传播是反向模式自动微分的一种应用:它沿计算过程逆序遍历,并使用前向传播期间产生的中间值。

对于一系列网络层,

hi=fi(hi−1;θi),i=1,…,L,h_i=f_i(h_{i-1};\theta_i), \qquad i=1,\ldots,L,

第 ii 层的反向计算可能需要该层的输入 hi−1h_{i-1}、输出 hih_i,或在 fif_i 内部产生的其他值。因此,常规训练会保留许多这样的值,直到相应的反向计算完成。

在深度学习中,这些保留的激活值可能占用图形处理器内存的很大一部分。它们的大小通常随批次大小、输入分辨率、序列长度和网络深度而增长。这部分存储与模型参数、参数梯度、优化器状态及临时工作区占用的内存是分开的。

梯度检查点改变的是中间值的存续时间,而不是数学上的学习目标。

检查点的工作原理

采用检查点的计算被划分为若干区域,保留每个区域的输入,或其他足以完成重算的边界值。通常需要为求导而保存的内部值则被丢弃。

在反向传播期间:

  1. 系统运行到一个设有检查点的区域。
  2. 使用已保存的边界值,重新执行该区域前向计算中所需的部分。
  3. 使用重建的中间值计算梯度。
  4. 在不再需要这些值时将其释放。

例如,一个由十二个顺序连接的模块组成的网络,可以保留第 1、5、9 个模块的输入。对最后一个包含四个模块的区域求导时,系统会从该区域已保存的输入出发,重建其内部的中间激活值。更早的区域则按逆序处理。

保留的边界值必须包含重现该区域计算所需的全部信息。在一般的计算图中,这可能意味着需要保留多个张量,而不是单个层的输出。分支、共享输入和残差连接的存在,使检查点的放置比将简单链式结构等分更复杂。

检查点技术旨在保持原始计算的梯度不变,但仍会受到常规数值效应的影响,并且需要正确处理随机性和程序状态。它本质上并不是一种近似梯度方法。

内存与计算的权衡

简单的顺序模型

考虑 LL 个顺序连接的网络层,每层保存激活值大约需要 AA 字节。不使用检查点时,激活值的存储需求大致为

Mordinary=O(LA).M_{\text{ordinary}}=O(LA).

假设每隔 kk 层保存一个检查点,则大约有 L/kL/k 个检查点边界,而重建一个分段所需的工作存储空间与 kk 层的存储需求成正比。在这些简化假设下,

Mcheckpointed=O ⁣(A(Lk+k)).M_{\text{checkpointed}} = O\!\left(A\left(\frac{L}{k}+k\right)\right).

令两项达到平衡,可得 k≈Lk\approx\sqrt{L},从而有

Mcheckpointed=O(AL).M_{\text{checkpointed}}=O(A\sqrt{L}).

这一常见的平方根结论针对的是理想链式结构中的激活值存储,而非训练的总内存。它假设各层大小大致相当,并采用特定的逐段重算调度方式。参数、优化器状态、单个大型运算,以及大小不等的激活值,都可能显著改变实际结果。

计算成本

简单的分段方案可能在设有检查点的区域中,额外执行大约相当于一次前向传播的计算量。若原始前向传播和反向传播的成本分别为 CfC_f 和 CbC_b,则可以粗略比较如下:

Cordinary=Cf+Cb,C_{\text{ordinary}}=C_f+C_b,
Ccheckpointed≈2Cf+Cb.C_{\text{checkpointed}}\approx 2C_f+C_b.

这只是一个示意性模型,并非普遍适用的开销估计。一些实现在重建出所需的中间值后就会停止重算;嵌套方案则可能对某些运算重复计算多次。

实际耗时的增加还取决于内存访问量、内核执行、通信和硬件利用率。不过,单个训练步即使变慢,也可能使整体配置更加高效,例如允许使用更大的批次。

检查点策略

均匀检查点与模块级检查点

最简单的策略是按固定间隔,在网络层或架构模块的边界设置检查点。这在采用Transformer架构的模型中很常见,因为重复的模块提供了天然的边界。

均匀放置很直观,但没有考虑张量大小或计算成本的差异。即便各个分段包含的层数相同,包含某个特别大的激活值的分段仍可能决定峰值内存占用。

选择性检查点

选择性检查点在同一区域内保留一部分中间结果,同时重新计算其他结果。选择时可以考虑运算的输出大小、执行成本及依赖关系。

例如,保留成本高昂的矩阵乘法结果,同时重新计算成本低廉的逐元素运算,可能比重算整个区域更划算。最佳选择取决于张量形状、硬件、算子融合和周围的计算图;仅凭运算名称无法确定最优策略。

嵌套与递归检查点

设有检查点的区域内部还可以包含更小的检查点区域。这类分层调度能够进一步减少内存占用,代价是反复重算。

这些方法将检查点技术与图上的卵石游戏联系起来:放置一颗卵石代表保留一个已计算的值,移走它代表释放存储空间,而再次放置则需要重新计算。于是,问题转化为如何在存储约束下调度计算。

自动放置

算法或编译器可以根据图结构以及估算的内存和执行成本来选择检查点。根据问题的具体建模方式,可采用的方法包括动态规划、图优化和启发式方法。

当张量形状、分支或执行路径在运行时发生变化时,自动放置会比较困难。准确的成本建模也颇具挑战,因为设备执行和内存分配的实际情况并不总是符合简单的逐运算估计。

正确性要求

检查点技术依赖于重算过程与原始前向执行保持一致。

随机性

随机失活等运算会使用随机值。如果重算时使用了不同的随机掩码,所得的反向计算通常就不再对应于原始前向传播。

框架可以在检查点区域执行前后保存和恢复伪随机数生成器的状态。具体支持情况可能取决于所涉及的生成器和设备。对于框架所跟踪状态之外的随机性,可能需要单独处理。

可变状态与副作用

设有检查点的函数可能执行不止一次。因此,副作用也可能发生多次。

潜在问题包括:

  • 更新运行统计量,例如批量归一化的某些用法。
  • 修改全局变量或计数器。
  • 原地修改输入。
  • 在函数执行期间写入文件或记录指标。
  • 读取在两次执行之间发生变化的外部状态。

从概念上说,最安全的检查点区域应当像一个纯函数,其行为仅由明确可用的输入和受控状态决定。有状态的运算需要根据具体实现进行处理。

数值一致性

即使重算在数学上等价,非确定性的设备运算或不同的执行选择仍可能产生微小的浮点差异。因此,检查点技术通常不能保证训练轨迹在逐比特层面完全一致。

更严重的问题出现在重算遵循了不同的控制流,或使用了已改变的状态时。这种不一致可能产生错误的梯度,而不只是微小的数值变化。

机器学习框架中的实现

PyTorch 通过 torch.utils.checkpoint 提供激活检查点工具。其可重入实现与不可重入实现在与自动微分的交互方式、支持的反向传播接口,以及重新执行的计算量方面有所不同。这些差异对于嵌套数据结构、已从计算图分离的张量,以及更复杂的求导模式都很重要。

TensorFlow 通过 tf.recompute_grad 提供重计算功能。其他自动微分系统也提供相关的重物化变换或基于编译器的机制。

框架实现所需做的不只是重新运行函数。它还必须保留求导所需的依赖关系,管理已保存的张量和随机性,并与执行及编译机制正确交互。实际节省的内存取决于:若不使用检查点,框架原本会保留哪些值,以及哪些值在检查点区域之外仍然存续。

应用与互补技术

梯度检查点广泛用于训练大语言模型、图像模型,以及其他激活值内存需求较大的网络。在语言模型中,它有助于容纳更长的序列或更大的批次;在图像模型中,它可以支持更高分辨率的输入。

它也适用于微调。冻结大部分参数并不一定会消除激活值的内存需求:梯度可能仍需要经过被冻结的运算传播,才能到达可训练的组件。

检查点技术可以与以下技术结合:

  • 低精度计算:减少许多张量所需的存储空间。
  • 参数与优化器状态分片:将其他主要内存开销分摊到多个设备上。
  • 激活值卸载:将保存的激活值转移到另一个存储层级,而不是重新计算。
  • 梯度累积:将一个更大的有效批次拆分为多个较小的微批次来处理。
  • 内存高效的注意力机制:包括 FlashAttention,可避免显式生成某些大型注意力中间结果。

这些技术针对的是不同的内存占用来源。它们带来的收益不一定能简单相加:缓解一个瓶颈可能暴露出另一个瓶颈,而且某些内存高效算子本身已经在内部执行了重算。

在分布式计算中,检查点边界还会与通信相互影响。重新计算某个区域可能触发额外通信,或影响计算与数据传输的重叠程度,因此在单个设备上有效的放置方案,在多个设备上可能表现不同。

局限与术语辨析

当保留的激活值是主要内存瓶颈时,检查点技术最有用。它本身无法消除主要由参数、优化器状态,或不可拆分运算的临时工作区造成的内存占用。它还会增加计算工作量,因此其价值取决于内存容量、执行时间和能耗各自的相对成本。

这一术语应与训练状态检查点区分开来。后者将模型和优化器状态保存到持久存储中,以便在训练中断后恢复。梯度检查点通常处理的是单个训练步内暂存于内存中的值,并不提供进程或硬件故障后的恢复能力。

它也不同于梯度累积。梯度累积是在一次优化器更新前合并多个微批次的梯度,而检查点技术改变的是一次计算中存储和重建中间值的方式。

历史背景

通过重新计算中间值来减少存储需求的思想早于现代深度学习,长期以来一直用于反向模式自动微分和伴随计算。安德烈亚斯·格里万克(Andreas Griewank)与安德烈娅·瓦尔特(Andrea Walther)于 2000 年发表的 Revolve,为在检查点数量受限的条件下对顺序计算进行检查点调度,确立了具有重要影响的方法。

陈天奇及其合作者于 2016 年发表的论文《以次线性内存开销训练深度网络》(Training Deep Nets with Sublinear Memory Cost),推动了检查点技术在深度学习中的普及,其中包括适用于顺序网络的平方根内存方案。后续研究将这一方法扩展到不规则计算图、选择性重算、自动调度,以及与大规模训练系统的集成。