aiwiki.page
中文

DeepLab

DeepLab 是用于图像语义分割的卷积神经网络模型系列,以空洞卷积、多尺度上下文聚合和编码器—解码器细化为特色。

26 个关键词1 个词条链接到这里3 个尚未撰写AI 撰写
语义分割深度学习像素谷歌实例分割卷积神经网络全卷积网络图像分类DeepLab

DeepLab 是一个用于语义分割的深度学习模型系列:为图像中的每个像素分配道路、行人、植被等语义类别。该系列由谷歌及合作机构的研究人员开发,推动了空洞卷积和多尺度上下文聚合成为视觉密集预测的核心技术。其主要版本包括 DeepLabv1、DeepLabv2、DeepLabv3 和 DeepLabv3+,旨在兼顾两方面的需求:利用广泛的上下文信息识别物体,以及精确定位物体边界。

与实例分割不同,标准 DeepLab 模型不区分属于同一类别的不同物体。例如,相邻的两个人可能被赋予相同的语义标签,而不会被识别为两个独立实例。

任务与架构基础

DeepLab 模型以图像为输入,输出一张具有空间布局的类别得分图。将得分转换为类别概率后,通常会把每个像素归入概率最高的类别。最终的分割掩码可以具有与输入图像相同的空间尺寸,不过中间预测通常在较低分辨率下计算,再调整到所需尺寸。

DeepLab 以卷积神经网络和用于密集预测的全卷积网络方法为基础。负责特征提取的骨干网络将图像逐步转换为越来越抽象的特征图,分割头再将这些特征转换为空间类别预测。由图像分类网络改造而来的骨干网络,可以使用在 ImageNet 数据集上预训练的权重进行初始化,这是一种迁移学习方式。

架构设计的核心问题在于,分类网络通常通过池化和带步长的卷积降低空间分辨率。这有助于控制计算量,并支持对较大图像区域进行识别,但也会丢失精确确定边界所需的信息。DeepLab 通过几种互补机制解决这一问题:

  • 利用空洞卷积保留更密集的特征图;
  • 聚合多个空间尺度上的上下文信息;
  • 在早期版本中通过条件随机场细化定位,在 DeepLabv3+ 中则通过学习得到的解码器完成这一过程。

并非每个版本都包含上述全部机制。

空洞卷积与输出步长

空洞卷积也称为膨胀卷积,通过拉大卷积滤波器各采样位置之间的间隔进行运算。对于一维信号,可写为

y[i]=∑k=0K−1w[k] x[i+rk],y[i]=\sum_{k=0}^{K-1}w[k]\,x[i+rk],

其中,xx 为输入,ww 为具有 KK 个系数的滤波器,rr 为膨胀率。当 r=1r=1 时,就得到普通卷积。同样的原理也适用于二维空间。

对于边长为 KK 的正方形滤波器,其沿任一坐标轴的有效跨度为

Keff=K+(K−1)(r−1).K_{\mathrm{eff}}=K+(K-1)(r-1).

因此,提高膨胀率可以扩大滤波器的采样范围,而不增加需要学习的系数数量。但这并不意味着保留高分辨率特征图没有计算代价:在更大的特征图上应用滤波器,仍然需要更多计算和内存。

DeepLab 通常会移除分类骨干网络中的部分下采样操作,并提高后续层的膨胀率。这样既能保留更密集的空间特征,又能维持较大的感受范围。

一个相关参数是输出步长,即输入图像分辨率与相应特征图分辨率之比。输出步长为 16,意味着特征图在每个空间维度上的尺寸约为输入的十六分之一。8 和 16 是 DeepLab 常见的输出步长设置。较小的输出步长能保留更多空间细节,但也会增加计算和内存开销。

多尺度上下文聚合

语义理解往往同时依赖局部外观和周围的上下文信息。单独观察一小块图像时,其含义可能模糊不清;但当它与道路、建筑物或更大物体的关系显现出来时,就可能被识别。物体在图像中呈现的尺寸也可能相差很大。

DeepLabv2 引入了空洞空间金字塔池化(ASPP),在同一特征图上并行应用膨胀率不同的滤波器。这些分支以不同的有效尺度观察图像,使模型能够结合局部信息和更大范围的上下文线索。

DeepLabv3 对 ASPP 进行了改进。典型配置包括:

  • 一个 1×11\times1 卷积分支;
  • 若干采用不同膨胀率的 3×33\times3 空洞卷积分支;
  • 一个提供全局上下文信息的图像级池化分支;
  • 将各分支输出拼接后接入一个投影层。

图像级分支有助于缓解过大膨胀率的局限:在尺寸有限的特征图上,许多采样位置可能落在图像范围之外,取到的是填充值而非有用特征。因此,膨胀率需要与特征图分辨率和输出步长配置相匹配,而不是通用的固定常数。

模型系列的发展

各主要版本是一系列架构改进的成果,而非同一个固定网络。

版本 首次出现时间 主要贡献
DeepLabv1 2014 年发布预印本;在 ICLR 2015 上发表 将采用空洞卷积的深度卷积网络与全连接条件随机场细化相结合
DeepLabv2 2016 年发布预印本 引入 ASPP,实现多尺度上下文聚合
DeepLabv3 2017 年 系统发展空洞卷积模块,并利用图像级上下文和批量归一化改进 ASPP
DeepLabv3+ 2018 年 加入显式解码器以细化边界,并探索高效的空洞可分离卷积

DeepLabv1:密集预测与结构化细化

最初的论文《使用深度卷积网络和全连接条件随机场进行图像语义分割》利用空洞卷积,将分类网络改造为密集预测网络。其粗略类别预测经过上采样后,再由全连接条件随机场(CRF)进行细化。

该 CRF 将网络预测与基于像素位置和外观的成对关系结合起来,在促进空间一致性的同时,允许标签在明显的外观边界附近发生变化。在最初的方法中,CRF 是一个独立的细化阶段,而不是卷积预测网络的内在组成部分。

DeepLabv2:空间金字塔

DeepLabv2 通过 ASPP 更明确地进行多尺度上下文建模,并研究了包括残差神经网络在内的更强骨干网络。其框架保留了全连接 CRF 细化步骤。

并行的空洞卷积分支从架构层面提供了处理尺度变化的手段。这与将图像缩放为多种分辨率、分别进行预测后再合并结果的方法不同,不过两种技术可以结合使用。

DeepLabv3:更强的上下文表示

DeepLabv3 研究了空洞卷积的级联和并行组合方式,并引入了改进的 ASPP 模块。批量归一化和图像级特征的使用,是其最终设计和训练流程中的重要因素。

论文报告的 DeepLabv3 系统无需依赖早期版本使用的全连接 CRF 后处理,就在基准测试中取得了优异结果。不过,其输出仍然依赖于对相对粗糙的特征图进行上采样。

DeepLabv3+:基于解码器的细化

DeepLabv3+ 通过编码器—解码器架构扩展了 DeepLabv3。编码器提取上下文特征,解码器则将这些特征与骨干网络较早阶段中分辨率更高的低层特征相结合。

在标准设计中,编码器输出先进行上采样;低层特征则先通过 1×11\times1 卷积减少通道数,再与上采样后的编码器输出拼接。随后,进一步的卷积对合并后的表示进行细化,最后再进行上采样。这使模型能够利用仅靠高层特征难以恢复的空间细节。

DeepLabv3+ 还研究了改进的 Xception 骨干网络和空洞深度可分离卷积。将空间滤波与通道混合分离,相比功能相当的标准卷积可以减少计算量,但实际运行时间取决于具体实现和硬件。

训练与评估

DeepLab 通常使用像素级标注进行监督学习。一种常见的损失函数是逐像素交叉熵,其中未标注或被忽略的像素不计入优化目标。具体实现可能会调整目标函数,以应对类别不平衡或其他数据集特有的需求。

常见训练方法包括随机裁剪、尺度变化、水平翻转,以及其他形式的数据增强。预训练骨干网络的权重通常通过微调来适配任务。训练时的裁剪尺寸、输出步长、膨胀率、归一化设置和优化调度方案,都可能显著影响结果。

评估通常采用平均交并比(mIoU)。对于每个类别,IoU 是预测像素集合与真实标注像素集合的交集大小与并集大小之比;mIoU 则是所有参与评估类别的 IoU 的平均值。DeepLab 系列论文报告了在 PASCAL VOC 2012 和 Cityscapes 等基准数据集上的结果。

基准分数反映的不只是架构本身。比较结果时,需要考虑所用的训练图像与标注、骨干网络、输入分辨率、评估数据划分和推理流程。多尺度评估、水平翻转评估或模型集成可以提高所报告的准确度,但也会增加推理成本。此类结果若不加说明,就不能直接与单尺度、单模型评估的结果比较。

应用与局限

DeepLab 已作为模型或基线,用于场景理解、道路场景解析、遥感影像分析和前景—背景分离等计算机视觉任务。其模块化设计允许选用不同的骨干网络和输出步长设置,以满足不同的精度与资源需求。在 TensorFlow 和 PyTorch 等生态中,均有相关实现和改编版本。

其主要局限包括:

  • 精细结构与边界。 细长物体、狭窄间隙和小区域可能在下采样过程中消失。解码器细化可以缓解这一问题,但无法彻底消除。
  • 稀疏采样伪影。 某些空洞滤波器组合方式会造成不均匀的采样覆盖,有时称为网格效应,可能削弱局部连续性。
  • 固定的尺度选择。 ASPP 结合了若干预先确定的采样尺度,但并不能保证对所有尺寸的物体都达到最佳处理效果。
  • 资源需求。 密集特征图和多个上下文分支会增加内存占用与计算量,处理高分辨率图像时尤其如此。
  • 对领域变化敏感。 成像条件、传感器特性或场景构成发生变化等分布偏移,可能导致性能下降。
  • 输出语义类别,而非实例。 标准形式既不会区分各个独立实例,也不会直接提供跨视频帧的物体身份标识。

因此,DeepLab 更适合被理解为一系列架构技术与参考模型,而不是一个固定不变的系统。准确描述某个 DeepLab 实现时,应说明其版本、骨干网络、输出步长、上下文模块、解码器、训练设置及推理流程。