全卷积网络(FCN)是一种卷积神经网络,能够处理按空间排列的特征,而不依赖与固定输入尺寸绑定的全连接层。它可以输出由预测结果构成的空间网格,而不只是为整个输入给出一个预测。FCN 尤其常见于语义分割,即为图像中的每个位置赋予类别标签。这一术语既指一种通用的架构原则,也特指 Jonathan Long、Evan Shelhamer 和 Trevor Darrell 提出的、具有重要影响的分割模型;相关研究于 2014 年首次发布,并在 2015 年计算机视觉与模式识别会议上发表。
架构原则
传统的图像分类网络通常先将图像转化为定长表示,再通过全连接层为整幅图像指定类别。将空间特征图展平成向量,会使后续全连接层依赖于该特征图的尺寸。
相比之下,FCN 在预测路径中保留空间组织结构。卷积滤波器在不同位置应用同一组学习得到的权重,使单个网络能够处理空间尺寸不同的输入。其输出尺寸通常随输入尺寸而变化。
“全卷积”并不意味着每一步操作都必须是卷积。这类网络通常也包含池化、激活函数、归一化、插值和特征融合等操作。其核心区别在于:空间预测路径中不存在需要将特征展平、且尺寸固定的全连接阶段。
对于二维输入,密集预测模型可以表示为
其中, 和 分别为输入的高度和宽度, 为输入通道数, 为输出通道数, 表示学习得到的参数。对于分割任务,输出通道通常对应语义类别。输出在最初生成时不一定与输入具有相同的分辨率。
同样的原则也适用于一维序列和三维体数据,并不局限于普通的二维图像。
卷积与空间预测
卷积层将局部邻域内各输入通道的信息组合起来。在深度学习中通常称为卷积的互相关运算约定下,其输出可写为
这里, 包含学习得到的滤波器权重, 是输出通道 的偏置。步幅、填充和膨胀率决定了如何对输入采样,以及输出尺寸如何变化。
多层堆叠使预测能够依赖输入中越来越大的区域。能够影响某个特定输出的区域称为该输出的感受野。浅层通常捕捉较为局部的模式,而深层则在更大范围内整合信息。
卷积对密集预测尤其有用。它在每个空间位置独立地混合通道信息,而不组合相邻位置的信息。将其应用于特征图时,可以利用共享参数,在每个位置生成一个类别分数向量。
将全连接层转换为卷积层
将图像分类器的全连接层重新解释为卷积层,通常就能把分类器转换为全卷积预测模型。
假设某个全连接层接收由形状为 的特征图展平得到的向量,并产生 个输出。其权重可以重新排列为 个卷积滤波器,每个滤波器覆盖 个位置和全部 个通道。在尺寸与原始特征图完全相同的特征图上,只要前后配套操作等价,这种转换就会产生相同的数值结果。在更大的特征图上,这些滤波器则会在多个空间位置产生输出。
后续的全连接层通常可以转换为 卷积。这样,分类器便能在共享中间计算的同时,对相互重叠的空间区域进行预测,而不必独立处理大量裁剪图像块。
分辨率的降低与恢复
密集预测既需要语义理解,也需要准确定位。这两个目标构成了架构设计中的一项核心权衡。
池化和步幅卷积会降低空间分辨率,从而减少计算开销,并使深层特征能够整合更广泛的上下文。然而,粗糙的特征可能丢失小物体、细长结构和精确边界的信息。
输出步幅
输出步幅是输出特征图中相邻位置之间的间距,以输入坐标为单位计量。输出步幅为 32 的网络会生成一个粗糙的预测网格,其每个维度上大约每 32 个输入位置对应一个输出位置,但确切尺寸取决于填充方式和取整方式。
上采样可以放大这个网格,但仅靠放大并不能可靠地重建下采样过程中丢失的空间信息。
上采样方法
恢复更精细预测网格的常见方法包括:
- 插值,例如双线性插值,按照固定规则调整特征图或类别分数图的尺寸。
- 转置卷积,一种可学习的操作,将低分辨率网格映射为高分辨率网格。它通常并不是卷积在数学意义上的逆运算。
- 多阶段解码,逐步提高分辨率,并在连续的尺度上细化特征。
最初的 FCN 研究采用了这样的上采样层:可以将其初始化为执行双线性插值,随后再在训练过程中学习其参数。
融合粗细特征
残差连接所采用的跳跃连接机制,为网络中不相邻的部分提供了直接连接路径。在分割架构中,这类连接常将语义信息丰富的深层特征与分辨率较高的浅层特征相结合。
最初的 FCN 模型通过相加来融合类别分数图。其他架构则先拼接特征图,再学习如何将其组合。这些融合操作虽有不同,但都有助于保留仅凭最深层特征难以恢复的空间细节。分割网络中的跳跃连接不一定采用残差网络中常见的恒等映射相加设计。
最初的 FCN 分割模型
Long、Shelhamer 和 Darrell 证明,分类网络可以转换为密集预测模型,并通过端到端训练完成语义分割。他们的方法结合了全连接层的卷积化、上采样以及不同深度信息的融合。
最知名的几个变体基于 VGG-16 分类架构:
| 变体 | 主要预测来源 | 主要特点 |
|---|---|---|
| FCN-32s | 输出步幅为 32 的深层特征 | 将粗糙的分数图上采样至输入分辨率 |
| FCN-16s | 将深层分数与由 pool4 特征图生成的分数融合 | 引入步幅为 16 的更精细信息 |
| FCN-8s | 进一步融合由 pool3 特征图生成的分数 | 引入步幅为 8 的更精细信息 |
这些后缀指的是最终上采样之前,融合后的预测表示的步幅,而不是网络层数或输出类别数。
这项研究的一个重要方面是使用了迁移学习:在包括 ImageNet 数据集在内的大型数据集上训练的分类网络,提供了有用的初始表示。随后,通过微调使这些表示适应逐像素预测。
从最广泛的意义上说,这项研究并非首次提出利用卷积进行密集预测;更早的神经网络已经能够生成按空间排列的输出。它的重要性在于建立了一套实用且影响深远的框架,用于将深度图像分类器改造为端到端语义分割模型。
训练与评估
用于语义分割的 FCN 通常采用监督学习训练,训练数据由图像及其对应的逐像素标签组成。网络生成类别分数,再将其转换为类别概率。一种常用的损失函数是逐像素交叉熵:
其中, 为输入图像, 为位置 处的目标类别, 为具有有效标签的位置集合。未标注或需要忽略的位置可以从该集合中排除。
梯度通过反向传播沿预测路径和上采样路径传播。由于参数在空间上共享,许多位置的误差会共同参与同一组滤波器的参数更新。
训练时需要重点考虑以下因素:
- **类别不平衡:**大片背景区域可能主导损失,而少数类别的贡献相对较小。
- **标注精度:**边界不确定或标签不一致,可能限制模型能够达到的准确度。
- **空间数据增强:**裁剪、翻转和几何变换必须在图像与标签之间保持对齐。
- **内存占用:**高分辨率特征图可能限制批量大小或裁剪尺寸,尤其是在图形处理器上训练时。
分割质量通常使用交并比评估,并往往对各类别取平均值。像素准确率也常被采用,但当某个主导类别占据图像的大部分区域时,这一指标可能掩盖模型在小类别上的不佳表现。
应用与相关架构
凡是预测结果需要与输入保持空间关系的任务,都可以使用 FCN。其应用包括场景标注、航拍图像制图、文档版面分析、深度估计和光流。其输出不一定是类别:密集回归网络可以预测每个位置上的连续量。
FCN 与编码器—解码器架构密切相关。编码器提取越来越抽象的特征,解码器则重建具有丰富空间细节的输出。不过,并非所有 FCN 都具有对称的编码器—解码器结构。
U-Net网络是一种著名的全卷积架构,包含收缩路径、扩张路径,以及用于拼接对应特征图的连接。尽管它与最初的 FCN-8s 都遵循将语义抽象与空间细节相结合的总体原则,但两者的设计并不相同。
其他架构使用空洞卷积来扩大感受野,而无须相应增加下采样程度。有些架构还引入了注意力机制或基于 Transformer 的组件。这类混合系统仍然可以是密集预测模型,但能否称为全卷积网络,取决于其实际采用的操作,而不能仅凭输出形状判断。
局限与实现约束
**输入尺寸可变并不意味着完全不受限制。**网络可能要求输入达到最小尺寸,或其尺寸能够适配连续的下采样阶段。融合不同分辨率的特征时,可能需要进行填充、裁剪和特征对齐。将不同尺寸的图像放入同一批次处理时,通常也需要填充或调整尺寸。
**空间参数共享并不保证严格的平移等变性。**在适当条件下,卷积能够对空间平移作出可预测的响应,但步幅、池化、有限边界和填充都可能破坏严格的对应关系。平移等变性也不同于平移不变性:当对应的物体移动时,密集预测结果通常也应随之移动。
**局部操作可能限制上下文推理。**理论感受野可能很大,但远处区域的信息对某项预测的实际影响仍可能有限。对于难以辨识的物体和涉及整个场景的关系,可能需要额外的上下文机制。
**上采样可能引入伪影。**某些转置卷积配置会产生不均匀的重叠和棋盘格状图案。基于插值的方法可以避免这一特定成因,但仍可能产生模糊或定位不准的边界。
**语义分割本身并不区分实例。**为每个位置分配类别的 FCN,可能会将两个相互接触的物体标为同一类别,却无法区分它们是两个独立物体。实例分割需要额外的输出、分组机制或针对任务设计的架构。
**效率取决于分辨率。**与独立处理每个图像块相比,在重叠区域之间共享计算更加高效,但高分辨率的密集特征图仍可能需要大量计算资源和内存。