门控循环单元(GRU)是一种循环神经网络组件,通过维护隐藏状态并利用学习得到的门控机制更新该状态来处理序列数据。它由 Kyunghyun Cho 及其同事于2014年提出,旨在学习跨时间的依赖关系,同时减轻传统循环网络在训练中遇到的一些困难。与长短期记忆网络(LSTM)类似,GRU 通过门控机制保留信息,但它只使用一个循环状态,而不将隐藏状态与细胞状态分开。
架构与方程
GRU 接收输入向量 和前一时刻的隐藏状态 ,并生成新的隐藏状态 。它有两个主要的门:更新门控制前一状态保留多少,重置门控制前一状态如何参与候选替代状态的计算。
当输入维度为 、隐藏状态维度为 时,一种常见的表达形式为:
其中:
- 为更新门。
- 为重置门。
- 为候选隐藏状态。
- 为逻辑 sigmoid 函数。
- 为双曲正切函数。
- 表示逐元素乘法。
输入权重矩阵 的形状为 ,循环权重矩阵 的形状为 ,偏置的维度为 。这些参数在训练过程中学习得到,并在每个时间步重复使用。Sigmoid 函数和双曲正切函数在这里用作激活函数。
按照上述约定,更新门的值接近1时,会保留前一状态的对应分量;接近0时,则会用候选状态替换该分量。有些表述则将更新门定义为新信息所占的比例,并写成:
这两种门值约定互为补充,并不代表本质不同的架构。因此,“更新门值较大”意味着保留信息还是替换信息,取决于所采用的方程。
门如何控制记忆
更新门
更新门在相邻的隐藏状态之间建立了一条加性路径。每个状态分量都可以保留原值、采用候选值,或在两者之间进行插值。这使不同分量能够学习不同的有效时间尺度:一些分量可以跟踪快速变化的特征,另一些则可以在经历许多次输入后仍保留信息。
在传统循环网络中,状态会反复经过循环矩阵和非线性函数的变换。反复进行这些变换可能使梯度不断缩小,从而导致梯度消失问题。GRU 的门控加性更新提供了一条路径,使信息和梯度更容易持续传递。
这种机制并不能保证完美的长期记忆。门值依赖于输入和前一状态,因此完整的导数除了直接保留路径上的项之外,还包含其他项。门也可能进入饱和区,梯度仍可能消失或过度增大。
重置门
重置门控制前一状态有多少参与候选状态的计算。在上述表达形式中,重置门的某个分量接近0时,会在循环变换之前抑制前一状态中对应的分量。这使网络能够构造出对早期上下文依赖较少的候选状态。
重置候选状态的计算并不等于清除最终的隐藏状态。即使重置门在候选状态中抑制了过去的信息,更新门仍可以通过独立的保留路径保留前一状态。
因此,这两个门承担着不同的功能:重置门控制提出新信息时所使用的上下文,更新门则控制这些候选信息有多少成为当前状态的一部分。
历史及其与 LSTM 的关系
GRU 最早发表于2014年的论文《使用 RNN 编码器—解码器为统计机器翻译学习短语表示》(Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation)。该研究在编码器—解码器架构中使用循环网络,为机器翻译学习短语对的表示。
GRU 和 LSTM 都属于深度学习中更广泛的门控循环架构家族。开发这些架构的目的,是使序列依赖关系的学习比简单循环网络更加有效。
标准 LSTM 具有细胞状态和隐藏状态,以及输入门、遗忘门和输出门。标准 GRU 则具有一个循环状态和两个门。它的更新门兼具保留旧信息与接纳新信息的相关功能,而且没有独立的输出门。
在输入维度和隐藏状态维度相同的情况下,常规 GRU 的参数通常少于常规 LSTM。这可以减少计算量和存储需求,但并不意味着其中任何一种架构在所有情况下都更快或更准确。结果取决于任务、模型维度、训练过程、序列长度和软件实现。
训练与序列组织方式
GRU 通常采用随时间反向传播进行训练:将循环计算沿序列展开,再通过反向传播计算任务特定的损失函数相对于共享参数的梯度。随后,可以使用 Adam优化器等优化方法更新这些参数。
对于长序列,训练时可以采用截断的随时间反向传播。隐藏状态可以在连续的序列片段之间传递,而梯度只在有限的时间步内传播。这会降低训练的内存需求,但也限制了学习过程能够直接进行贡献归因的时间范围。
GRU 可以采用多种组织方式:
- **单层:**由一个循环层处理序列。
- **堆叠:**将多个循环层逐层叠加,每一层接收前一层的输出。
- **双向:**由两个独立的循环网络分别按正向和反向处理序列,再合并它们的输出。
- **编码器—解码器:**一个网络对输入序列进行编码,另一个网络生成输出序列,还可以选择使用注意力机制。
双向 GRU 同时利用过去和未来的上下文,因此在未来上下文到来之前,不能直接给出严格因果的输出。
初始隐藏状态通常设为零,也可以作为参数学习,或由模型的其他组件提供。隐藏状态不一定就是最终预测结果:独立的输出层可以将它映射为类别、数值,或可能输出上的概率分布。
实现变体
一些重要的 GRU 实现对重置操作的位置采用了不同安排。前面给出的候选状态方程在循环矩阵乘法之前应用重置门:
另一种常见形式则在循环变换之后应用重置门:
这两个表达式通常并不等价,因为逐元素门控与稠密矩阵乘法通常不满足交换律。偏置的放置位置也有所不同。
PyTorch 和 TensorFlow 等库都提供 GRU 层,但要让模型在不同实现之间保持一致,就必须检查具体的递推公式、门的排列顺序、偏置布局和参数存储约定。仅使层名称和隐藏状态维度一致,并不足以保证数值上的等价性。
计算特性
如果三个仿射计算各使用一个偏置向量,那么一个 GRU 层的可训练参数数量为:
其中不包括任何输出层的参数。将输入偏置和循环偏置分开设置的实现,其参数数量通常为:
对于长度为 的序列,稠密 GRU 层的主要算术运算开销为:
这里忽略了批处理和低阶的逐元素运算。
在流式神经网络推理过程中,单向 GRU 只需要当前隐藏状态,就能将信息从一个时间步传递到下一个时间步。因此,其循环状态的存储需求与已经处理的时间步数量无关。训练则需要额外存储中间激活值,除非采用重计算或截断方法。
循环结构带来了顺序依赖:必须先得到 ,才能计算 。单个时间步内的矩阵运算以及不同独立序列的处理可以利用并行计算,但普通 GRU 在训练时无法像 Transformer架构那样,在序列位置之间实现同等程度的并行。
应用与局限
GRU 被用于自然语言处理、语音识别、时间序列预测、序列分类和异常检测。当模型需要随着观测数据的到来更新一个紧凑状态,而不是反复处理全部历史数据时,GRU 尤其适用。
它的主要局限包括:
- **有限状态瓶颈:**除非另有记忆机制,否则相关历史信息必须表示在固定维度的状态中。
- **长距离依赖学习并不完善:**门控有助于保留信息,但不能保证学到任意长距离的依赖关系。
- **顺序执行:**时间步之间的依赖可能限制硬件利用率和训练吞吐量。
- **对模型与训练选择敏感:**隐藏状态大小、初始化、优化和正则化都会影响性能。
- **直接可解释性有限:**门值描述了内部信息流,但仅凭门值无法确定模型为什么作出某个预测。
Transformer 已在许多大规模语言任务中取代循环架构,而 GRU 对于紧凑型序列模型和有状态处理仍然有用。将 GRU 与 LSTM、Transformer 或其他序列架构比较时,需要针对具体任务进行评估,而不能假定门更少或参数更少就必然带来更好的结果。