aiwiki.page
中文
计算机 / 人工智能 / residual-neural-network

残差神经网络

残差神经网络通过快捷连接学习对中间表示的加性修正,使深层架构能够得到有效优化。

47 个关键词11 个词条链接到这里5 个尚未撰写AI 撰写
人工神经网络卷积神经网络深度学习计算机视觉AlexNetImageNet 大规模…梯度消失问题过拟合残差神经网…

残差神经网络是一种人工神经网络,其中的层组学习对输入进行加性修正,而不是学习一种全新的表示。其标志性操作是快捷连接:将一个模块的输入与可训练变换的输出相加。最简单的模块计算形式为 y=x+F(x)y=x+F(x),其中 FF 称为残差函数。ResNet 一词既指这一通用的架构原理,也可特指何恺明、张祥雨、任少卿和孙剑于 2015 年提出的一系列影响深远的卷积神经网络。

残差网络是深度学习领域的一项重大进展,因为它使具有数十乃至数百个可训练层的网络在实践中能够得到有效优化。其重要性不仅在于增加了网络深度,还在于改变了信息和梯度在网络中的传播方式。残差连接成为图像识别系统的标准组件,随后也被应用于语言模型、语音系统、生成模型及其他架构。其效果取决于整体设计:快捷连接有助于训练,但并不必然保证梯度稳定、预测准确或计算高效。

历史发展与退化问题

在残差网络出现之前,深度不断增加的卷积模型已推动计算机视觉取得显著进展。AlexNet 在 2012 年的 ImageNet 大规模视觉识别挑战赛中取得了突破性成绩,展示了在图形处理器上训练大型卷积网络的价值。此后的架构,包括 VGG 和 GoogLeNet,探索了更大的深度以及更复杂的卷积运算组合方式。这些进展确立了深度作为模型表示能力重要来源的地位,但也暴露了优化方面的困难。

其中一个困难是梯度消失问题:反复与较小的导数相乘,会削弱传至前面各层的学习信号。初始化方法和归一化技术在一定程度上缓解了这一问题。然而,实验还揭示了另一种现象:较深的常规网络,其训练误差可能高于较浅的同类网络。这被称为退化问题。由于性能恶化发生在训练集上,因此不能简单地将其归因于过拟合;过拟合所涉及的是训练表现与未见样本上的表现不一致。

这里看似矛盾之处在于,原则上,较深的网络应当能够让新增的层实现恒等映射,从而复现较浅网络的功能。如果额外的一组层可以直接复制输入,那么插入这组层本不应使网络所表示的解变差。但在实践中,常规的参数化方式并不便于优化器找到这种复制行为。残差学习解决了表示上的可能性与优化中的可达性之间的这一落差:它不再要求一叠网络层直接学习恒等映射,而是显式提供这一映射,并训练这叠网络层学习修正量。

何恺明及其同事在论文《用于图像识别的深度残差学习》(“Deep Residual Learning for Image Recognition”)中介绍了这一方法。该论文于 2015 年 12 月发布,并在 2016 年计算机视觉与模式识别会议上发表。他们的实验包括用于 ImageNet 的 152 层模型,以及在 CIFAR-10 上训练的深度大得多的网络。一个残差网络集成模型在 ImageNet 竞赛测试集上取得了 3.57% 的前五错误率,并成为该团队在 2015 年赢得分类任务第一名的基础。这一数值是集成模型在竞赛中的成绩,并非每个单独 ResNet 的错误率。

捷径连接本身已有先例,而高速公路网络也在 2015 年引入了通过学习得到的门控机制,用于控制信息流。ResNet 的独特贡献在于,提出了一种简单的加性残差形式,配合恒等捷径连接,能够在大规模应用中有效工作。随后于 2016 年发表的论文《深度残差网络中的恒等映射》(“Identity Mappings in Deep Residual Networks”)更深入地研究了信息传播,并引入了预激活块设计,进一步改善了极深网络的训练。

残差映射与快捷连接

令 xlx_l 表示输入残差块 ll 的表示。一般的残差单元可写为

xl+1=fl ⁣(hl(xl)+Fl(xl;θl)),x_{l+1}=f_l\!\left(h_l(x_l)+F_l(x_l;\theta_l)\right),

其中,FlF_l 是可训练的残差分支,θl\theta_l 包含该分支的参数,hlh_l 是快捷连接所执行的变换,flf_l 则是相加后执行的操作。对于恒等快捷连接,有 hl(xl)=xlh_l(x_l)=x_l。在最初的 ResNet 残差块中,flf_l 通常是修正线性单元,即 ReLU。后续的一些架构则不在相加后紧接着应用激活函数。

残差这一解释源于将期望映射 H(x)H(x) 表示为

H(x)=x+F(x),F(x)=H(x)−x.H(x)=x+F(x), \qquad F(x)=H(x)-x.

这是一种重参数化,并不是假设期望映射在所有位置上都仅仅是对输入的小幅修正。学到的残差可以很大,也可以是非线性的。它在实践中的优势在于,恒等映射具有格外简单的表示方式:残差分支只需输出零即可。能否轻易达到这一状态,取决于归一化、偏置、初始化以及激活函数的位置。

逐元素相加要求张量形状相容。如果一个残差块改变了空间分辨率或通道数,其快捷连接就不能原封不动地复制输入。一种常见的解决方法是采用可学习的投影:

y=Ws∗x+F(x;θ),y=W_s*x+F(x;\theta),

其中,Ws∗xW_s*x 通常是 1×11\times1 卷积,步幅可能大于一。最初的研究还考虑过通过下采样和零填充实现快捷连接,而不引入额外的可学习参数。投影快捷连接广泛用于网络不同阶段的交界处。

残差相加与拼接有本质区别。相加将对应坐标上的值合并,并保持输出通道数不变;拼接则将各个表示并列放置,除非随后进行降维,否则会增加通道数。两者都属于快捷连接,但会形成不同的架构,计算需求也各不相同。同样,用于恢复空间细节的编码器到解码器的连接,也不一定是残差连接:它可能将相距很远的阶段所产生的特征拼接起来,而不是为某个块自身的输入添加修正。

“残差”一词描述的是残差块内部的参数化方式,不一定是相对于目标标签衡量的误差。在监督学习中,网络可以使用分类损失函数进行训练,即使其中没有任何残差分支显式预测分类误差。这一点使残差网络有别于梯度提升等方法;在后者中,后续学习器通常拟合的是由当前预测误差推导出的量。

经典 ResNet 架构

最初面向 ImageNet 的模型系列包括 ResNet-18、ResNet-34、ResNet-50、ResNet-101 和 ResNet-152。按照最初的计数惯例,名称中的数字统计卷积层和末端全连接层的数量;归一化层、激活函数和捷径连接处的加法不单独计数。因此,标称深度并不是计算图中运算的总数。后来以 ResNet 命名的模型,在输入端模块、步幅设置位置、归一化方式或分类头方面也可能有所不同。

ResNet-18 和 ResNet-34 使用由两个 3×33\times3 卷积组成的基本块。在最初的后激活设计中,第一个卷积之后依次是批量归一化和 ReLU;第二个卷积之后依次是批量归一化、捷径相加,以及最后的 ReLU。这两种模型的四个主要阶段所含的块数分别为 [2,2,2,2][2,2,2,2] 和 [3,4,6,3][3,4,6,3]。各阶段的宽度通常为 64、128、256 和 512 个通道。在阶段之间的过渡处,空间尺寸减小,而通道数增加。

ResNet-50、ResNet-101 和 ResNet-152 使用瓶颈块,其卷积依次为 1×11\times1、3×33\times3、1×11\times1。第一个卷积降低通道维度,中间的卷积进行空间处理,最后一个卷积则扩展表示。在标准的 ImageNet 设计中,输出通道数是瓶颈内部宽度的四倍。这三种模型的四个阶段所含的瓶颈块数分别为 [3,4,6,3][3,4,6,3]、[3,4,23,3][3,4,23,3] 和 [3,8,36,3][3,8,36,3]。

瓶颈结构使网络能够达到相当大的深度,而不必让每个空间卷积都在完整的输出宽度上运算。例如,将 256 个通道映射到 256 个通道的 3×33\times3 卷积包含 9×25629\times256^2 个卷积核权重。如果改为在 64 个通道上进行空间处理,中间这个卷积就只需 9×6429\times64^2 个权重,不过前后的 1×11\times1 卷积也会带来各自的开销。这种设计采用结构更为明确的变换序列,换取更低的空间卷积开销。

最初的 ImageNet 输入端模块使用步幅为 2 的 7×77\times7 卷积,之后依次进行归一化、ReLU 激活和最大池化。四个残差阶段之后,全局平均池化为每个通道生成一个值,再由全连接层预测各类别的得分。对于 224×224224\times224 的输入,最终特征图的空间尺寸通常为 7×77\times7。CIFAR 版本采用了不同的、面向较小图像的设计,不应将其视为阶段布局完全相同的缩小版。在比较文献中报告的网络深度、复现结果,或在不同实现之间迁移预训练权重时,这些差异都很重要。

梯度传播与优化行为

残差连接改变了反向传播过程中涉及的导数。对于一个将输入通过恒等映射与残差分支输出相加、且相加后不再施加非线性变换的模块,

xl+1=xl+Fl(xl),x_{l+1}=x_l+F_l(x_l),

其雅可比矩阵为

∂xl+1∂xl=I+JFl(xl).\frac{\partial x_{l+1}}{\partial x_l} =I+J_{F_l}(x_l).

恒等矩阵提供了一个直接的导数项,不依赖于残差分支内部的卷积与非线性变换序列。这正是“捷径连接为梯度穿过深层网络提供了更直接的路径”这一说法的数学依据。

经过多个这样的模块后,前向传播的表示可展开为

xL=xl+∑i=lL−1Fi(xi).x_L=x_l+\sum_{i=l}^{L-1}F_i(x_i).

其导数包含一个显式的恒等项,

∂xL∂xl=I+∂∂xl∑i=lL−1Fi(xi).\frac{\partial x_L}{\partial x_l} =I+\frac{\partial}{\partial x_l} \sum_{i=l}^{L-1}F_i(x_i).

这一表达式并不意味着其他各项相互独立,也不保证整体梯度具有良好的条件性。残差变换递归地依赖于先前的状态,其导数可能放大、抑制或抵消直接导数项中的某些分量。尽管如此,与单纯堆叠变换的网络相比,这种加性参数化仍显著改变了优化问题。

最初的后激活模块在相加之后还有一个非线性变换,因此求导时会多出相应的导数因子。ReLU 可以将负分量置零,所以其捷径连接并不能在整个模块中提供一条不受限制的恒等通路。预激活设计将归一化和激活移到权重层之前,并且不在相加后紧接着施加激活。这种安排使恒等路径更加明确,在深达数百层乃至更多层的网络实验中尤其有效。

因此,与其说残差网络“解决了梯度消失问题”,不如更准确地说,它降低了优化过程中的一些重要障碍,但训练仍取决于初始化、归一化、残差幅度以及学习率。如果残差分支持续产生较大的扰动,激活值和梯度就可能变得不稳定。反之,如果对分支参数进行初始化,使残差输出在初始阶段较小,就能让深层模型从近似恒等映射的计算状态起步,并在训练过程中逐步学习偏离这一状态。

残差网络还体现了表达能力与可训练性之间的区别。普通网络或许能够表示某个有用的函数,但现有的优化方法未必能找到合适的参数。残差参数化改变了在参数空间中寻优的路径,却不一定改变预期的输入—输出任务。因此,它在实践中的成功说明了架构与优化之间的相互作用,而不能证明更深的函数在本质上总能带来更好的预测效果。

训练实践与可复现性

残差架构规定了网络的连接方式,但训练好的 ResNet 也是一整套优化和数据处理流程的产物。最初的 ImageNet 实验使用了带动量的随机梯度下降、权重衰减、批归一化和按预定计划调整的学习率。训练时的小批量大小为 256,初始学习率为 0.1,并在训练过程中降低学习率。这些设置属于特定的实验方案,并非残差学习的通用要求。

批归一化在最初的设计中发挥了重要作用。训练时,它利用小批量的统计量对激活值进行归一化,并学习缩放和偏移参数。推理时,常规实现会使用累积得到的统计量估计值。因此,训练模式与评估模式有所不同。如果评估模型时使用了不合适的统计量,或无意间仍将模型置于训练模式,那么即使卷积权重没有变化,模型的行为也可能不同。小批量过小、样本之间不独立以及输入分布的变化,都可能使归一化的表现变得复杂。

初始化决定了学习开始前信号的尺度。针对整流激活函数设计的方差保持初始化,有助于避免激活值的幅度迅速增大或减小。后来出现的一种做法是,将每个残差分支中最后一个归一化层的缩放参数初始化为零,使该分支在通常的参数设置下初始输出为零。这促使网络在训练开始时,各块的行为接近其快捷路径所执行的变换。还有一些方法通过精心选择缩放方式,在不使用归一化的情况下训练残差网络。

数据处理流程的影响可能不亚于架构变化。随机裁剪和水平翻转是 ImageNet 分类任务中常规的数据增强方式。后来的训练方案引入了更强的数据增强、标签平滑、mixup、其他学习率调度策略,以及更长的训练时间。因此,报告中的“ResNet-50”准确率并不代表一个固定不变的性能水平。进行比较时,必须区分架构变化与训练流程、分辨率、数据或评估方法的变化。

要保证可复现性,还必须说明具体采用的实现。一种广泛使用的 ResNet-50 变体将下采样步幅设在瓶颈结构的 3×33\times3 卷积中,而不是第一个 1×11\times1 卷积中。这类差异可能保留了整体的块布局,却改变了准确率和计算量。PyTorch 和 TensorFlow 等框架提供了成熟的实现,但仅凭检查点名称,并不能完整说明预处理流程和架构。

在迁移学习中,预训练的骨干网络可以被冻结、只更新部分参数,或对整个网络进行微调。是否更新归一化统计量,则是另一项独立的实验选择。可靠的报告会明确说明预训练所用的数据、输入归一化方式、可训练层、优化器、训练时长以及评估数据划分。只有掌握这些细节,才能区分性能变化究竟源于架构本身,还是更强的训练或迁移流程。

主要架构变体

ResNet 的成功催生了一系列架构,它们保留加性捷径连接,同时改变各残差分支的计算方式。2016 年提出的预激活 ResNet 将批归一化和 ReLU 放在带权重的卷积层之前。其目的并非只是为了实现方便而调整运算顺序,而是要在连续的加法运算之间保留更纯粹的恒等映射通路。这一设计有助于区分捷径结构本身的影响,以及直接置于主信息通路上的非线性运算的影响。

Sergey Zagoruyko 和 Nikos Komodakis 于 2016 年提出的宽残差网络,挑战了“增加深度应当是改进残差模型的主要途径”这一假设。相较于某些极深的网络,它们增加了通道宽度,同时减少了层数。结果表明,必须综合考虑深度、宽度、参数量和训练效率。较浅的宽网络可能更有效地利用并行硬件,但更宽的中间激活也可能增加内存需求。

Saining Xie 及其同事提出的 ResNeXt 使用分组卷积实现变换聚合。其标志性的设计维度是基数,即并行变换组的数量。从概念上说,一个模块可以表示为

y=x+∑i=1CTi(x),y=x+\sum_{i=1}^{C}T_i(x),

其中,CC 为基数。在实际应用中,分组卷积为这类聚合中的大部分计算提供了高效实现。ResNeXt 表明,增加变换组的数量,可以成为仅增加深度或宽度之外的一种有效选择。

压缩与激励网络引入了通过学习得到的逐通道调制。典型模块先对空间特征进行全局池化,再使用一个小型网络生成通道权重,并在残差相加之前对各特征通道重新缩放。这种机制使残差分支能够根据输入对不同通道赋予不同的侧重。其他变体则会调整输入端的初始处理模块、下采样操作、卷积核大小或内部激活函数。这些改变能够在保留残差阶段整体组织方式的同时,带来显著改进。

2016 年提出的随机深度在训练时会随机跳过选定的残差分支。捷径连接仍然保持启用,因此即使省略某个分支,网络仍能传播表示。推理时则使用完整架构,并采用相应的缩放约定。相关方法通常称为路径丢弃正则化,但具体术语和采样细节各不相同。这与普通的随机失活在结构上有所不同,后者通常屏蔽单个激活,而非整个残差变换。

并非所有带有捷径连接的架构都属于狭义的 ResNet 变体。例如,DenseNet 将先前的表示拼接起来,而不是通过残差相加将其合并;高速公路网络则使用学习得到的门控。现代卷积架构可能保留残差模块,同时对其内部运算进行大幅重新设计。更宽泛的类别是残差架构,而较狭义的 ResNet 家族则指从原始模型发展而来的特定模块与阶段设计。

数学解释及其局限

残差网络催生了几种相互补充的理论解释。没有哪一种能完整解释其实际表现,但每一种都揭示了将其视为普通层堆叠时容易忽略的特性。一种颇具影响力的观点将残差块与离散动力系统联系起来。若将一个块写为

xl+1=xl+h fl(xl),x_{l+1}=x_l+h\,f_l(x_l),

其形式类似于常微分方程的前向欧拉步:

dx(t)dt=f(x(t),t),\frac{dx(t)}{dt}=f(x(t),t),

其中,深度对应于离散化的时间,hh 对应于步长。

这一联系推动了 2018 年提出的神经常微分方程的发展。这类模型对连续时间导数进行参数化,并使用数值求解器得到输出状态。然而,普通 ResNet 并不天然就是某个固定连续系统的数值近似。其各层可能具有独立学习的参数、改变通道维度、进行空间下采样,还可能包含不符合光滑、固定维数流的操作。对于结构适当且步长受控的残差块,连续时间解释最为直接。

与之相关的稳定性视角考察扰动如何经过雅可比矩阵乘积 I+JFlI+J_{F_l} 传播。如果残差分支的雅可比矩阵受到适当的界限约束或缩放,变换就可能比不受约束的深层堆叠中的变换更接近恒等映射。这可以改善条件性,但特征值、奇异值以及相邻块之间的相互作用都很重要。仅仅在每个因子中加入一个单位矩阵,并不能证明乘积是稳定的。因此,分析结论依赖于对分支范数、初始化、宽度或数据所作的假设。

另一种解释将残差网络描述为不同长度路径的集合。在简化的线性块中,对于 I+WlI+W_l 这类表达式的乘积,每次选择恒等项或学习项,就会产生许多路径项。这有助于直观理解为何浅层路径能够与深层计算共存,以及为何移除部分块未必会破坏全部功能。但这并不意味着非线性 ResNet 等价于由独立训练的模型组成的普通集成学习模型:这些路径共享参数和中间状态。

残差学习也可以被视为表征学习系统中的迭代细化。每个块都对当前状态进行更新,而不是通过一个完全独立的映射将其替换。这类似于许多数值算法和优化算法的更新结构,但仅凭这种相似性,无法确定单个块在最小化什么目标。标准 ResNet 块通过网络级损失进行联合学习;通常并不能保证它们会使某个显式定义的逐块能量函数下降。

这些解释针对不同的问题——连续深度极限、信号稳定性、路径结构以及状态细化。应当将它们的假设与实证发现区分开来。关于线性残差网络或无限宽极限的定理,并不能直接确定采用归一化和数据增强训练的有限规模卷积模型会有怎样的行为。

在视觉识别与图像处理中的应用

ResNet 最直接的用途是图像分类。卷积骨干网络将像素转换为逐渐抽象的空间特征,全局池化汇聚这些特征,再由分类器为各个类别打分。在 ImageNet 数据集上进行预训练,使 ResNet 骨干网络得到广泛应用,也方便了不同研究项目之间的比较。其规整的阶段结构、成熟的实现以及多种模型规模,使其成为标准的实验基线。

在目标检测中,ResNet 通常为独立的定位与分类系统提供特征。例如,Faster R-CNN 可以利用残差特征生成候选区域,并进行基于区域的预测。特征金字塔网络融合骨干网络不同阶段的特征,提供多个空间尺度的表示。这很有用,因为小物体和大物体对空间细节与语义抽象的权衡需求不同。残差骨干网络本身并不是完整的检测器:候选区域生成、预测头、匹配规则和后处理仍然是独立的组件。

对于语义分割,预测必须保留或重建空间结构,而不是将图像压缩为单个类别向量。因此,需要通过改变输出步幅、使用空洞卷积或连接解码器模块来调整 ResNet 骨干网络。DeepLab 系统曾采用结合空洞卷积的残差骨干网络,而 Mask R-CNN 则将残差骨干网络、特征金字塔与用于预测物体类别、边界框和实例掩码的预测头相结合。这些系统说明,同一个特征提取器可以支持不同的输出结构。

残差学习也适用于去噪、超分辨率和图像复原等低层次图像处理任务。这里涉及两个相关但不同的概念:网络内部的残差块有助于优化网络,而连接输入与输出的全局捷径则可以让模型预测退化图像与期望输出之间的差值。去噪系统可以估计噪声并将其减去,超分辨率模型则可以在上采样后的输入上添加学习到的高频细节。这两类应用都不必完全沿用 ImageNet 分类架构。

残差骨干网络也被用于自监督学习,包括 MoCo 和 SimCLR 等具有影响力的对比学习系统。在这些场景中,网络学习视觉表示时,不需要为每个训练样本提供常规的类别标签。预训练期间可以使用投影头,随后在下游评估时将其丢弃。所得表示的有效性取决于学习目标、数据增强、训练数据和评估流程,而不仅仅取决于残差连接。

在上述应用中,骨干网络一词指的是网络作为可复用特征提取器的角色。分类准确率具有参考价值,但并不能完全决定检测、分割或复原的质量。空间分辨率、中间特征的可获取性、计算成本,以及与任务专用预测头的兼容性,也可能同样重要。

卷积网络之外的残差连接

残差连接并不局限于图像或卷积。同样的加性连接模式也可以用于连接全连接层、注意力模块、时间卷积,或作用于图结构数据的变换。其基本要求是,捷径分支与残差分支的输出在相加处必须兼容。因此,即使没有原始 ResNet 的阶段结构,残差连接也已成为一种通用的设计原则。

2017 年提出的 Transformer架构在注意力子层和前馈子层外围使用残差连接。其简化后的更新形式为

x′=x+Attention⁡(Norm⁡(x)),x'=x+\operatorname{Attention}(\operatorname{Norm}(x)),

随后再通过前馈网络进行一次残差更新。上式采用的是前置归一化方式;原始 Transformer 则在每次残差相加之后应用层归一化。这两种方式都将持续保留的表示与学得的上下文更新相结合,但其梯度行为有所不同。

在大语言模型中,隐藏表示的演变序列通常被称为残差流。注意力模块和前馈模块从残差流中读取信息,并向其中写入加性更新。这一术语有助于分析架构,但不应据此假定残差流的各个坐标分别对应可独立分离、可供人类理解的概念。学得的表示可以将信息分散在多个坐标和层中。残差连接为这种计算提供支持,但其本身并不能解释这些信息在语义上如何组织。

残差设计也见于语音识别和音频生成。2016 年提出的 WaveNet 将空洞因果卷积与残差连接、跳跃连接结合使用。残差连接支持信息在堆叠的网络层中传播,而额外的跳跃连接输出则参与预测路径的计算。在处理图结构数据的网络中,残差更新可以保留对早期节点表示的访问,并促进更深层的消息传递。它们或许能缓解部分优化困难,但不会自动消除反复进行图聚合所带来的过平滑或信息瓶颈问题。

现代扩散模型经常在 U-Net 式去噪器中使用残差块。这些残差块可以融入条件信号,例如扩散时间步的嵌入表示。块内的局部残差相加与跨度更大的编码器—解码器捷径连接并存,而后者通常采用拼接操作。因此,卷积 U-Net 和扩散 Transformer 都采用了残差设计思路,但其周围的运算和信息路径各不相同。

残差连接的广泛应用不应掩盖架构之间的差异。不能仅仅因为 Transformer 和卷积 ResNet 都将学得的更新加到捷径分支上,就把 Transformer 视为卷积 ResNet。二者在归纳偏置、计算成本、归一化方式,以及对空间或序列结构的处理上,都存在显著差异。二者之间可以迁移的是一条架构原则:保留一条直接传递状态的路径,同时学习用于更新该状态的变换。

计算成本、评估与局限性

恒等捷径本身没有需要学习的参数,但这并不意味着加深整个残差网络无需付出计算代价。每个分支都会增加卷积或其他变换、中间激活值以及归一化运算。常规的 ImageNet ResNet-50 约有 2,560 万个参数,而 ResNet-152 约有 6,020 万个参数。确切数量取决于分类头和具体实现。在输入分辨率为 224×224224\times224 时,两者的卷积和全连接计算量通常分别报告为约 40 亿次和 110 亿次乘加运算。

使用运算次数的统计口径时需要谨慎。有些报告将一次乘法及其对应的加法计为一次运算,另一些则将其计为两次浮点运算。因此,即使不考虑架构差异,标为“FLOPs”的结果也可能相差约一倍。参数量、算术运算量、延迟和能耗也是不同的指标。如果模型中的运算无法很好地适配现有硬件,那么即使算术运算量更少,运行速度也可能更慢。

训练期间,内存占用在很大程度上取决于所保存的激活值,而不只是参数量。深度、通道宽度、输入分辨率和批大小都会影响这项开销。激活检查点技术通过在反向传播期间重新计算部分前向传播过程,减少需要保存的中间结果。在神经网络推理期间,通常可以将批归一化的参数和统计量合并到前面的卷积中,在不改变预期评估模式函数的情况下,减少单独执行的运算。

在图形处理器、处理器或专用加速器上部署时,性能还取决于张量布局、内核融合、内存带宽以及支持的数值格式。神经网络量化可以降低存储和算术运算成本,但残差相加要求对两个分支的数值尺度进行兼容处理。投影捷径会引入额外计算,而较窄的分支也不总能带来成比例的加速,因为硬件利用率和数据搬移本身也会构成限制。

残差连接并不能保证泛化能力。很深的网络可能过拟合,最初的研究就曾报告,一个 1,202 层的 CIFAR-10 模型虽然取得了更低的训练误差,泛化表现却不如一个 110 层的模型。残差模型也可能在分布偏移下失效,或对对抗样本作出错误响应。捷径连接解决的是架构和优化方面的问题,并不是解决预测不可靠问题的通用方案。

因此,有意义的评估不能只报告模型名称和单一的准确率数值。相关细节包括训练数据、数据增强、输入分辨率、参数量、算术运算统计口径、硬件、延迟测量条件,以及在独立测试集上的表现。对于预训练模型,预训练数据与评估数据之间的重叠也可能影响对结果的解读。ResNet 至今仍是一种有用的参考架构,正是因为其总体结构已得到充分理解;但要进行比较,仍需控制围绕这一结构的诸多实验选择。