{
  "id": "residual-connection",
  "title": "残差连接",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "残差连接将层的输入与其变换后的输出相加，帮助深度神经网络保留信息并有效训练。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "残差快捷连接",
    "残差跳跃连接"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/residual-connection/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/residual-connection/",
      "json": "https://aiwiki.page/en/residual-connection.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "残差连接是人工神经网络中的一种连接，它绕过一个或多个计算层，将绕过这些层的输入与这些层的输出相加。中间的各层不再直接学习完整的变换，而是学习对现有表示的修正，即残差。残差连接是残差神经网络的核心组成部分，广泛应用于深度学习，包括卷积模型和 Transformer架构。它为信息和梯度提供了直接通路，使极深的网络更容易优化。"
    },
    {
      "heading": "数学定义",
      "text": "最简单的残差块计算如下：\n\n\\[y=x+F(x;\\theta),\\]\n\n其中，\\(x\\) 是输入，\\(F\\) 是参数为 \\(\\theta\\) 的可学习变换，\\(y\\) 是输出。该变换可以包含多个层、非线性运算、归一化操作或其他计算。传递 \\(x\\) 的直接通路称为快捷连接或跳跃路径；计算 \\(F(x;\\theta)\\) 的通路则称为残差分支。\n\n如果目标映射为 \\(H(x)\\)，残差形式将其表示为\n\n\\[H(x)=x+F(x), \\qquad F(x)=H(x)-x.\\]\n\n因此，“残差”指的是目标映射与恒等映射之差。它并不意味着该分支直接计算预测误差，其本身也不是损失函数。\n\n相加要求两个分支产生形状兼容的输出。当维度不同时，快捷连接可以采用投影：\n\n\\[y=P(x)+F(x;\\theta).\\]\n\n对于向量表示，一种常见选择是 \\(P(x)=W_sx\\)。在卷积神经网络中，\\(1\\times1\\) 卷积可以改变通道数和空间分辨率，有时还会采用大于 1 的步幅。这种投影快捷连接不再是严格的恒等通路，并且可能引入额外的可训练参数。\n\n一些残差块在相加后应用激活函数：\n\n\\[y=\\phi\\bigl(x+F(x;\\theta)\\bigr).\\]\n\n另一些残差块则不对相加结果作进一步变换，而将激活和归一化操作放在残差分支内部。这种差异会同时影响信息保留和梯度传播。"
    },
    {
      "heading": "残差连接为何有效",
      "text": "学习变化，而非完全替换\n\n常规的层堆叠会反复替换当前表示：\n\n\\[x_{l+1}=F_l(x_l).\\]\n\n残差层堆叠则反复更新当前表示：\n\n\\[x_{l+1}=x_l+F_l(x_l).\\]\n\n如果某个有用的变换接近恒等映射，残差分支只需输出一个小的修正量，就能表示该变换。对于采用恒等快捷连接、且相加后没有激活操作的残差块，将残差输出设为零即可使整个块成为恒等映射。\n\n这一观察促成了残差学习的提出，用以应对退化问题：向普通网络添加层可能会增大训练误差，尽管更深的架构看起来能够表示较浅网络的解。这是一个优化问题，不同于过拟合；后者指训练表现改善，而在未见数据上的表现变差。\n\n残差参数化并不会让所有目标变换都更容易学习。它的优势取决于架构、初始化、数据和优化过程。\n\n梯度传播\n\n残差连接在反向传播过程中为导数提供了一条直接通路。对于\n\n\\[y=x+F(x),\\]\n\n其雅可比矩阵为\n\n\\[\\frac{\\partial y}{\\partial x}=I+J_F(x),\\]\n\n其中，\\(I\\) 是单位矩阵，\\(J_F(x)\\) 是残差分支的雅可比矩阵。当梯度采用列向量表示时，标量损失 \\(L\\) 的梯度为\n\n\\[\\nabla_x L = \\bigl(I+J_F(x)\\bigr)^{\\mathsf T}\\nabla_y L.\\]\n\n恒等项提供了一部分无需经过残差分支内部运算的梯度贡献。在跨越许多层时，这些快捷通路可以缓解梯度消失问题。\n\n不过，它们并不能保证梯度始终保持良好性质。形如 \\(I+J_F\\) 的矩阵连乘后，结果仍可能增大、缩小，或变得病态。相加后应用的激活函数也会改变快捷通路的导数，并可能抑制其中一些分量。\n\n保留中间表示\n\n对于一系列采用恒等快捷连接、且相加后不再进行变换的残差块，有\n\n\\[x_L=x_l+\\sum_{k=l}^{L-1}F_k(x_k).\\]\n\n因此，深度 \\(l\\) 处的表示会显式出现在后续表示的表达式中。后续层可以添加新特征，而不必重建此前所有有用的信息。\n\n这是一种代数性质，并不保证信息始终可以恢复：残差更新可能覆盖或抵消先前的分量。"
    },
    {
      "heading": "历史发展",
      "text": "在现代残差网络出现之前，绕过网络层的连接就已存在。深度残差学习的独特贡献在于，将加法式恒等快捷连接作为一种高效深层架构的组织原则。\n\n何恺明、张祥雨、任少卿和孙剑于 2015 年提出《用于图像识别的深度残差学习》（Deep Residual Learning for Image Recognition），该论文于 2016 年在 CVPR 发表。他们的实验表明，残差架构能够训练深度显著增加的计算机视觉模型。其中，一个 152 层模型是具有代表性的成果；残差网络也是 2015 年 ImageNet 大规模视觉识别挑战赛分类任务冠军系统的组成部分。\n\n这些作者在 2016 年的论文《深度残差网络中的恒等映射》（Identity Mappings in Deep Residual Networks）中，研究了无额外变换的恒等通路的重要性，并提出了影响深远的预激活设计。\n\n此后，残差连接不再是 ResNet 独有的特征，而成为一种通用的架构设计手段。2017 年提出的 Transformer 在注意力子层和前馈子层外围使用残差连接，推动其成为自然语言处理架构的标准组件。"
    },
    {
      "heading": "主要形式",
      "text": "恒等快捷连接与投影快捷连接\n\n恒等快捷连接原样传递输入，不引入可训练参数，适用于输入与输出形状相同的情况。\n\n投影快捷连接对输入进行变换，使其与残差分支相匹配。在图像模型的阶段转换处，空间分辨率通常降低而通道数增加，因此常采用投影。投影快捷连接提供了架构上的灵活性，但并不保留严格恒等快捷连接的全部数学性质。\n\n后激活块与预激活块\n\n在最初的 ResNet 设计中，相加之后接一个修正线性单元。卷积、批量归一化和中间激活操作则位于残差分支内部。\n\n预激活设计将归一化和激活操作置于分支中带权重的层之前，并避免在相加后立即应用激活函数。这在相邻残差块之间形成了更纯粹的恒等通路。“预激活”描述的是残差网络中的这种操作顺序；它与 Transformer 的预归一化有关，但并不相同。\n\n缩放残差连接与门控残差连接\n\n缩放残差块计算如下：\n\n\\[y=x+\\alpha F(x),\\]\n\n其中，\\(\\alpha\\) 可以是固定值，也可以通过学习得到。残差缩放用于控制更新幅度，有助于控制深层网络中激活值和梯度的增长。\n\n门控变体可以采用如下形式：\n\n\\[y=x+g(x)\\odot F(x),\\]\n\n其中，\\(g(x)\\) 控制更新，\\(\\odot\\) 表示逐元素乘法。更一般的门控架构还可能对快捷连接本身施加门控。这类设计不同于无条件的恒等快捷连接，因为信息流动取决于门控。"
    },
    {
      "heading": "Transformer 中的残差连接",
      "text": "Transformer 在注意力机制子层和逐位置前馈子层外围使用残差连接。对于自注意力，快捷连接传递当前表示，而残差分支计算依赖上下文的更新。\n\n层归一化的位置尤其重要。后归一化子层的计算可示意为\n\n\\[y=\\operatorname{LN}\\bigl(x+F(x)\\bigr).\\]\n\n预归一化子层的计算为\n\n\\[y=x+F\\bigl(\\operatorname{LN}(x)\\bigr).\\]\n\n这些公式省略了随机失活和残差缩放等细节。\n\n预归一化使快捷连接在经过每个子层时保持不变，而后归一化会先对相加结果进行变换，再将其传递下去。这种差异会影响优化和梯度流。许多现代大语言模型采用预归一化或相关布局，不过具体的归一化方案各不相同。\n\n在各次残差相加操作之间传递的一系列表示，通常称为残差流。注意力分支和前馈分支向这一共享表示中写入更新。这个术语并不意味着每个组成部分都占据向量中一个独立、且始终可以辨识的部分。"
    },
    {
      "heading": "与其他跳跃连接的关系",
      "text": "跳跃连接的含义比残差连接更广。跳跃连接可以绕过网络层，并以多种方式组合表示。\n\n- **相加：**残差连接通常将形状兼容的表示逐元素相加，保持输出形状不变。\n- **拼接：**某些架构沿特征维度或通道维度拼接表示，从而增加所得表示的宽度。\n- **门控组合：**另一些架构使用可学习的门，调节变换后的输入和绕过变换的输入各自的贡献。\n\n因此，编码器与解码器各阶段之间的长距离连接，包括图像分割中使用的此类连接，并不一定是残差连接。残差连接的定义特征在于加法式的残差表达形式，而不只是存在旁路。"
    },
    {
      "heading": "应用与局限",
      "text": "残差连接用于图像识别、目标检测、分割、语言建模和扩散模型。它支持深层的变换堆叠，同时允许逐步更新中间表示。\n\n与大型卷积或注意力运算相比，加法操作本身的开销通常很小，恒等快捷连接也不会增加可训练权重。不过，残差架构仍需承担各分支的计算和内存开销。投影快捷连接会增加运算量，训练实现也必须考虑计算图所需的激活值。\n\n残差连接不能替代归一化、合适的初始化、精心选择的学习率或正则化。极深的模型仍可能出现梯度不稳定或表示幅值过度增长的问题。残差分支的作用也可能变得微乎其微，因此，增加深度并不一定能带来有效计算量的相应增长。\n\n最后，优化效果的改善本身并不能保证泛化（机器学习）能力、鲁棒性或可解释性的提升。残差结构主要改变的是网络表示和学习变换的方式；其他这些性质则取决于整体模型和训练过程。"
    }
  ],
  "links": [
    "artificial-neural-network",
    "residual-neural-network",
    "deep-learning",
    "transformer-architecture",
    "loss-function",
    "convolutional-neural-network",
    "activation-function",
    "overfitting",
    "backpropagation",
    "matrix",
    "vanishing-gradient-problem",
    "computer-vision",
    "imagenet-large-scale-visual-recognition-challenge",
    "natural-language-processing",
    "rectified-linear-unit",
    "batch-normalization",
    "attention-mechanism",
    "self-attention",
    "layer-normalization",
    "dropout",
    "large-language-model",
    "image-segmentation",
    "object-detection",
    "diffusion-model",
    "computational-graph",
    "learning-rate",
    "regularization",
    "generalization"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}