aiwiki.page
中文
计算机 / 人工智能 / residual-connection

残差连接

残差连接将层的输入与其变换后的输出相加,帮助深度神经网络保留信息并有效训练。

28 个关键词12 个词条链接到这里AI 撰写
人工神经网络残差神经网络深度学习Transformer架构损失函数卷积神经网络激活函数过拟合残差连接

残差连接是人工神经网络中的一种连接,它绕过一个或多个计算层,将绕过这些层的输入与这些层的输出相加。中间的各层不再直接学习完整的变换,而是学习对现有表示的修正,即残差。残差连接是残差神经网络的核心组成部分,广泛应用于深度学习,包括卷积模型和 Transformer架构。它为信息和梯度提供了直接通路,使极深的网络更容易优化。

数学定义

最简单的残差块计算如下:

y=x+F(x;θ),y=x+F(x;\theta),

其中,xx 是输入,FF 是参数为 θ\theta 的可学习变换,yy 是输出。该变换可以包含多个层、非线性运算、归一化操作或其他计算。传递 xx 的直接通路称为快捷连接或跳跃路径;计算 F(x;θ)F(x;\theta) 的通路则称为残差分支。

如果目标映射为 H(x)H(x),残差形式将其表示为

H(x)=x+F(x),F(x)=H(x)−x.H(x)=x+F(x), \qquad F(x)=H(x)-x.

因此,“残差”指的是目标映射与恒等映射之差。它并不意味着该分支直接计算预测误差,其本身也不是损失函数。

相加要求两个分支产生形状兼容的输出。当维度不同时,快捷连接可以采用投影:

y=P(x)+F(x;θ).y=P(x)+F(x;\theta).

对于向量表示,一种常见选择是 P(x)=WsxP(x)=W_sx。在卷积神经网络中,1×11\times1 卷积可以改变通道数和空间分辨率,有时还会采用大于 1 的步幅。这种投影快捷连接不再是严格的恒等通路,并且可能引入额外的可训练参数。

一些残差块在相加后应用激活函数:

y=ϕ(x+F(x;θ)).y=\phi\bigl(x+F(x;\theta)\bigr).

另一些残差块则不对相加结果作进一步变换,而将激活和归一化操作放在残差分支内部。这种差异会同时影响信息保留和梯度传播。

残差连接为何有效

学习变化,而非完全替换

常规的层堆叠会反复替换当前表示:

xl+1=Fl(xl).x_{l+1}=F_l(x_l).

残差层堆叠则反复更新当前表示:

xl+1=xl+Fl(xl).x_{l+1}=x_l+F_l(x_l).

如果某个有用的变换接近恒等映射,残差分支只需输出一个小的修正量,就能表示该变换。对于采用恒等快捷连接、且相加后没有激活操作的残差块,将残差输出设为零即可使整个块成为恒等映射。

这一观察促成了残差学习的提出,用以应对退化问题:向普通网络添加层可能会增大训练误差,尽管更深的架构看起来能够表示较浅网络的解。这是一个优化问题,不同于过拟合;后者指训练表现改善,而在未见数据上的表现变差。

残差参数化并不会让所有目标变换都更容易学习。它的优势取决于架构、初始化、数据和优化过程。

梯度传播

残差连接在反向传播过程中为导数提供了一条直接通路。对于

y=x+F(x),y=x+F(x),

其雅可比矩阵为

∂y∂x=I+JF(x),\frac{\partial y}{\partial x}=I+J_F(x),

其中,II 是单位矩阵,JF(x)J_F(x) 是残差分支的雅可比矩阵。当梯度采用列向量表示时,标量损失 LL 的梯度为

∇xL=(I+JF(x))T∇yL.\nabla_x L = \bigl(I+J_F(x)\bigr)^{\mathsf T}\nabla_y L.

恒等项提供了一部分无需经过残差分支内部运算的梯度贡献。在跨越许多层时,这些快捷通路可以缓解梯度消失问题。

不过,它们并不能保证梯度始终保持良好性质。形如 I+JFI+J_F 的矩阵连乘后,结果仍可能增大、缩小,或变得病态。相加后应用的激活函数也会改变快捷通路的导数,并可能抑制其中一些分量。

保留中间表示

对于一系列采用恒等快捷连接、且相加后不再进行变换的残差块,有

xL=xl+∑k=lL−1Fk(xk).x_L=x_l+\sum_{k=l}^{L-1}F_k(x_k).

因此,深度 ll 处的表示会显式出现在后续表示的表达式中。后续层可以添加新特征,而不必重建此前所有有用的信息。

这是一种代数性质,并不保证信息始终可以恢复:残差更新可能覆盖或抵消先前的分量。

历史发展

在现代残差网络出现之前,绕过网络层的连接就已存在。深度残差学习的独特贡献在于,将加法式恒等快捷连接作为一种高效深层架构的组织原则。

何恺明、张祥雨、任少卿和孙剑于 2015 年提出《用于图像识别的深度残差学习》(Deep Residual Learning for Image Recognition),该论文于 2016 年在 CVPR 发表。他们的实验表明,残差架构能够训练深度显著增加的计算机视觉模型。其中,一个 152 层模型是具有代表性的成果;残差网络也是 2015 年 ImageNet 大规模视觉识别挑战赛分类任务冠军系统的组成部分。

这些作者在 2016 年的论文《深度残差网络中的恒等映射》(Identity Mappings in Deep Residual Networks)中,研究了无额外变换的恒等通路的重要性,并提出了影响深远的预激活设计。

此后,残差连接不再是 ResNet 独有的特征,而成为一种通用的架构设计手段。2017 年提出的 Transformer 在注意力子层和前馈子层外围使用残差连接,推动其成为自然语言处理架构的标准组件。

主要形式

恒等快捷连接与投影快捷连接

恒等快捷连接原样传递输入,不引入可训练参数,适用于输入与输出形状相同的情况。

投影快捷连接对输入进行变换,使其与残差分支相匹配。在图像模型的阶段转换处,空间分辨率通常降低而通道数增加,因此常采用投影。投影快捷连接提供了架构上的灵活性,但并不保留严格恒等快捷连接的全部数学性质。

后激活块与预激活块

在最初的 ResNet 设计中,相加之后接一个修正线性单元。卷积、批量归一化和中间激活操作则位于残差分支内部。

预激活设计将归一化和激活操作置于分支中带权重的层之前,并避免在相加后立即应用激活函数。这在相邻残差块之间形成了更纯粹的恒等通路。“预激活”描述的是残差网络中的这种操作顺序;它与 Transformer 的预归一化有关,但并不相同。

缩放残差连接与门控残差连接

缩放残差块计算如下:

y=x+αF(x),y=x+\alpha F(x),

其中,α\alpha 可以是固定值,也可以通过学习得到。残差缩放用于控制更新幅度,有助于控制深层网络中激活值和梯度的增长。

门控变体可以采用如下形式:

y=x+g(x)⊙F(x),y=x+g(x)\odot F(x),

其中,g(x)g(x) 控制更新,⊙\odot 表示逐元素乘法。更一般的门控架构还可能对快捷连接本身施加门控。这类设计不同于无条件的恒等快捷连接,因为信息流动取决于门控。

Transformer 中的残差连接

Transformer 在注意力机制子层和逐位置前馈子层外围使用残差连接。对于自注意力,快捷连接传递当前表示,而残差分支计算依赖上下文的更新。

层归一化的位置尤其重要。后归一化子层的计算可示意为

y=LN⁡(x+F(x)).y=\operatorname{LN}\bigl(x+F(x)\bigr).

预归一化子层的计算为

y=x+F(LN⁡(x)).y=x+F\bigl(\operatorname{LN}(x)\bigr).

这些公式省略了随机失活和残差缩放等细节。

预归一化使快捷连接在经过每个子层时保持不变,而后归一化会先对相加结果进行变换,再将其传递下去。这种差异会影响优化和梯度流。许多现代大语言模型采用预归一化或相关布局,不过具体的归一化方案各不相同。

在各次残差相加操作之间传递的一系列表示,通常称为残差流。注意力分支和前馈分支向这一共享表示中写入更新。这个术语并不意味着每个组成部分都占据向量中一个独立、且始终可以辨识的部分。

与其他跳跃连接的关系

跳跃连接的含义比残差连接更广。跳跃连接可以绕过网络层,并以多种方式组合表示。

  • **相加:**残差连接通常将形状兼容的表示逐元素相加,保持输出形状不变。
  • **拼接:**某些架构沿特征维度或通道维度拼接表示,从而增加所得表示的宽度。
  • **门控组合:**另一些架构使用可学习的门,调节变换后的输入和绕过变换的输入各自的贡献。

因此,编码器与解码器各阶段之间的长距离连接,包括图像分割中使用的此类连接,并不一定是残差连接。残差连接的定义特征在于加法式的残差表达形式,而不只是存在旁路。

应用与局限

残差连接用于图像识别、目标检测、分割、语言建模和扩散模型。它支持深层的变换堆叠,同时允许逐步更新中间表示。

与大型卷积或注意力运算相比,加法操作本身的开销通常很小,恒等快捷连接也不会增加可训练权重。不过,残差架构仍需承担各分支的计算和内存开销。投影快捷连接会增加运算量,训练实现也必须考虑计算图所需的激活值。

残差连接不能替代归一化、合适的初始化、精心选择的学习率或正则化。极深的模型仍可能出现梯度不稳定或表示幅值过度增长的问题。残差分支的作用也可能变得微乎其微,因此,增加深度并不一定能带来有效计算量的相应增长。

最后,优化效果的改善本身并不能保证泛化(机器学习)能力、鲁棒性或可解释性的提升。残差结构主要改变的是网络表示和学习变换的方式;其他这些性质则取决于整体模型和训练过程。