随时间反向传播(BPTT)是一种算法,用于计算循环神经网络以及其他内部状态随序列演变的可微系统中的梯度。它将网络沿时间展开,再应用反向传播,把循环运算的每次执行视为独立的计算步骤,但这些步骤共享参数。所得梯度描述了这些参数如何通过当前输出和后续状态影响损失函数。
原理:展开循环计算
循环模型通过更新内部状态来处理序列。一般可表示为
其中, 是第 步的输入, 是隐藏状态, 是输出, 表示模型的可训练参数。每一步都使用相同的函数和参数。
对于长度为 的序列,典型的目标函数为
其中, 是目标值。有些任务则只在最终输出或选定位置上计算损失。
虽然循环网络通常画成带有环路的形式,但它在有限序列上的执行过程构成了一张无环的计算图:
展开操作将这些连续的状态更新显式表示出来,并不会创建可独立训练的循环参数副本。每次执行都使用同一个 ,因此必须将各次执行产生的梯度贡献相加。
前向传播按时间顺序计算状态和输出,反向传播则按时间的逆序传播导数。因此,较晚位置上的误差可以影响很早之前所用参数的梯度。
数学表述
核心运算是反复应用导数的链式法则。假设将输出计算纳入后,第 步的损失写作 。将状态的伴随量定义为列向量
对于递推关系 ,令
反向递推为
因此,每个状态都会收到两类梯度贡献:一类来自该状态对应的损失,另一类来自它对未来状态的影响。
如果 与 无关,则参数梯度为
第一项计入状态转移中所用参数的贡献。第二项计入损失或输出计算对参数的直接依赖。这里 的导数是局部导数:求导时将前一状态视为固定值,因为经由该状态产生的间接依赖已由反向递推处理。
如果初始状态是通过学习得到的,或者由另一个参数化网络生成,则还必须传播它的贡献:
BPTT 负责计算这些导数,本身并不规定如何更新参数。随机梯度下降或 Adam优化器等优化方法利用这些梯度进行学习。
简单循环网络示例
基本循环层的形式为
其中, 是激活函数。将激活前的值写为 ,并定义 ,则循环权重的梯度为
这个求和体现了参数共享:每次使用 都会对同一个梯度作出贡献。
完整 BPTT 与截断 BPTT
完整 BPTT
完整 BPTT 对用于定义目标函数的整个序列进行求导。在满足可微性且不计数值精度误差的条件下,它给出该有限计算过程的梯度,而不刻意移除时间依赖关系。
对于长序列,保留反向传播所需的中间值可能代价高昂。完整 BPTT 还要求先完成与某项损失相关的前向计算,才能完成该项损失的整个反向传播过程,这可能延迟参数更新。
截断 BPTT
截断 BPTT 限制梯度向后传播的距离。一种常见实现是将数据流划分为每段 步的片段。一个片段的最终隐藏状态值成为下一个片段的初始状态,但它与先前计算图的连接会被切断。
这一区别十分重要:
- 状态信息可以跨越片段边界继续向前传递。
- 梯度不会反向穿过已切断连接的边界。
因此,模型可以保留较早片段的信息,但后续损失无法通过直接的梯度信号,将学习归因于这些早期信息的形成过程。
其他截断方案会使用相互重叠的反向传播窗口,或采用与反向窗口长度不同的更新间隔。截断范围和更新方案都是超参数。
普通的固定窗口截断通常得到的是未中断序列目标函数梯度的近似值。由于跨越截断边界的贡献被省略,相对于完整 BPTT,这种估计通常有偏。增大截断范围可以保留更多依赖关系,但也会增加资源需求。
截断也不同于重置隐藏状态。切断连接改变的是求导所用的计算图;重置状态改变的则是前向计算本身。
梯度消失与梯度爆炸
较早状态对较晚状态的影响涉及状态转移雅可比矩阵的乘积:
反复相乘可能使某些梯度分量变得极小或极大。这是梯度消失问题及相关的梯度爆炸问题的根源。
梯度消失会削弱与久远事件相关的学习信号。梯度爆炸则可能导致参数更新不稳定或数值溢出。这些现象取决于隐藏状态的演变轨迹、激活函数的导数,以及雅可比矩阵乘积的奇异值和方向,而不是仅由某个循环权重的大小决定。
多种技术可以缓解这些困难的某些方面:
- 门控架构。长短期记忆网络和门控循环单元引入了能够保留状态、改善梯度传播的通路。它们通常仍使用 BPTT 训练。
- **梯度裁剪。**当梯度的范数超过阈值时,对其进行缩放,可以限制异常大的更新。但它无法恢复已经消失的梯度。
- **初始化与架构设计。**合适的初始化、归一化和残差连接可以改善梯度表现。
- **截断。**缩短反向传播范围可以减少导数链的长度,但也会移除跨越所选边界的学习信号。
即使梯度在数值上保持稳定,有限的状态容量、优化困难或微弱的统计信号等因素,仍可能使长程依赖的学习十分困难。
计算成本与实现
对于大小固定的循环单元,前向计算和 BPTT 所需的计算量通常都与序列长度成正比。隐藏状态维度为 、输入维度为 的稠密循环层,每一步前向计算的成本量级为
反向计算的渐近复杂度与之相当。
主要的内存开销来自为求导而保留的中间激活值。直接的实现方式所存储的激活值数量与序列长度、隐藏状态大小和批量大小成正比;门控单元还需要额外的中间值。因此,常规训练所需的内存可能远多于神经网络推理,因为循环模型在推理时往往可以丢弃较早的状态。
截断 BPTT 将保留的求导历史限制在所选窗口内。检查点技术提供了另一种权衡方式:只存储选定的中间值,其余值在反向传播时重新计算。与截断不同,检查点技术不必移除梯度路径。
PyTorch 和 TensorFlow 等框架可以对循环计算自动求导。重要的实现细节包括:
- 在预定的截断边界处,切断所传递状态与先前计算图的连接;
- 在互不相关的序列之间重置状态;
- 对变长序列进行批处理时,屏蔽填充位置;
- 正确对齐目标与输出;
- 选择对序列损失求和还是取平均,因为这会影响梯度尺度。
对于一般的循环模型,顺序依赖限制了跨时间步的并行计算,不过批量操作以及各时间步内部的计算仍可并行执行。
应用与相关方法
BPTT 支持序列上的监督学习,包括语音识别、机器翻译、语言模型和时间序列预测。它还更广泛地适用于可微动力系统、通过学习得到的优化器,以及共享参数的迭代计算。
在强化学习中,BPTT 可以通过循环策略网络或价值网络的内部状态更新来训练这些网络。这并不意味着会自动对外部环境求导。要让梯度穿过环境的状态转移,需要环境本身或其模型可微;其他影响则可由强化学习中的估计方法处理。
实时循环学习是另一种方法:它在序列逐步到来时向前传播状态的敏感度,而不是对已存储的历史进行一次反向遍历。对于一般的稠密连接循环网络,这种方法的精确形式具有高得多的计算和存储成本。
Transformer架构也使用反向传播,但其通常的序列计算并不是反复更新单个循环隐藏状态。因此,它的训练一般不称为 BPTT。BPTT 的本质特征是对沿时间展开的状态转移进行求导,而不只是处理序列数据。
历史发展
BPTT 源于循环网络中基于梯度的学习方法的发展,以及更早的动力系统求导研究。保罗·沃博斯(Paul Werbos)对其发展和阐释作出了重要贡献;他在 1990 年发表的文章《随时间反向传播:它的作用及实现方法》(“Backpropagation Through Time: What It Does and How to Do It”)推动了这一术语的确立。
20 世纪 90 年代的研究阐明了普通循环网络难以学习长时间依赖的原因。1997 年提出的长短期记忆网络通过架构变化缓解了梯度衰减的部分问题,而不是取代 BPTT。现代自动微分系统使这一方法更易于实现,但内存消耗、截断和长程信用分配仍是实际应用中的核心问题。