aiwiki.page
中文

DETR

DETR是一种基于Transformer的目标检测器,通过二分图匹配学习无序目标集合,无需手工设计锚框或非极大值抑制。

24 个关键词5 个词条链接到这里3 个尚未撰写AI 撰写
目标检测深度学习Transformer架构图像分类非极大值抑制卷积神经网络残差神经网络位置编码DETR

DETR(DEtection TRansformer 的缩写)是一种用于目标检测的深度学习架构,它将图像特征与Transformer架构的编码器—解码器相结合,预测固定数量的候选目标。该架构于2020年在论文《使用Transformer进行端到端目标检测》(End-to-End Object Detection with Transformers)中提出,将检测任务重新表述为直接的集合预测:每个检测到的目标都被赋予一个类别和一个边界框,而未使用的预测则被赋予“无目标”标签。它的突出特点是可学习的目标查询和一对一匹配过程;后者通过训练使不同预测分别表示不同目标,从而不再需要手工设计的锚框和传统的去重后处理。

背景与动机

目标检测既要识别目标,也要确定它们在图像中的位置。与图像分类不同,目标检测必须能够处理数量未知的输出。此外,检测结果并不存在天然的输出顺序:先检测到人、再检测到自行车,应当与先检测到自行车、再检测到人等价。

在DETR出现之前,许多表现出色的检测器会生成大量与图像位置、锚框或候选区域相关联的候选框。多个候选框可能描述同一个目标,因此检测器通常使用非极大值抑制(NMS),剔除相互重叠且得分较低的预测。训练时还需要制定规则,将候选框分配给已标注的目标。

DETR用两个相互关联的思想取代了其中大量面向检测任务的专门机制:

  • **集合预测:**输出表示一组目标,而不是具有规定顺序的序列。
  • **一对一分配:**训练过程中,每个已标注目标都恰好与一个预测匹配。

这些设计使单个网络能够同时学习目标定位,以及如何区分不同的检测结果。“端到端”并不意味着DETR没有预处理、解码或置信度筛选,而是指其核心检测流程可以联合训练,无需独立的候选区域生成与抑制过程。

架构

原始DETR包含三个主要部分:图像骨干网络、Transformer编码器—解码器,以及预测头。

图像骨干网络与位置信息

卷积神经网络(例如残差神经网络)从输入图像中提取空间特征图。随后,通过投影将特征通道数映射到Transformer的隐藏维度,并将空间网格展平为序列。

仅靠展平操作,注意力层无法得知某个特征位于图像中的什么位置。因此,DETR引入位置编码来保留空间信息。

因此,原始架构是卷积与Transformer相结合的混合模型,而不是将Transformer直接应用于原始像素的检测器。它的集合预测形式,与视觉Transformer所采用的基于图像块的图像表示是不同的概念。

Transformer编码器

编码器对图像特征应用自注意力和前馈层。每个空间位置的特征都可以融合来自其他位置的信息,从而形成包含整幅图像上下文的表示。

当目标的判别依赖周围目标或相距较远的图像区域时,这种全局交互十分有用。但它也会带来计算开销:对于 SS 个空间词元,标准稠密注意力层所构建的交互数量与 S2S^2 成正比。

目标查询与Transformer解码器

解码器接收固定数量 NN 个可学习的目标查询。这些查询是用于区分各输出槽位的可训练嵌入,并不是文本提示、预定义的目标类别,也不是人工放置的边界框。

通过交叉注意力,查询从编码后的图像中提取信息。解码器的自注意力还使各输出槽位能够相互交互,帮助模型协调各槽位分别表示哪些目标。在原始DETR中,所有槽位并行处理,而不是以自回归方式逐个生成。

不应将某个目标查询理解为永久对应某个特定类别或图像位置。查询的行为通过学习获得,其预测取决于输入图像。不过,查询仍可能在统计上对某些空间区域或目标尺度表现出偏好。

预测头

解码器的每个最终输出都会传入:

  • 一个分类头,用于预测各目标类别以及额外的“无目标”类别的概率;
  • 一个小型多层感知机,用于预测边界框。

边界框通常用归一化的中心坐标、宽度和高度表示:

b=(cx,cy,w,h).b=(c_x,c_y,w,h).

原始模型通常使用100个查询槽位。这是一项架构设置,并不意味着估计每张图像中都有100个目标。未使用的槽位应预测为“无目标”,而槽位数量则限定了单次前向传播所能返回的目标数量上限。

二分图匹配与训练目标

DETR采用监督学习,使用标注了目标类别和边界框的图像进行训练。其训练中的核心问题是:决定由哪个预测来学习每个已标注目标。

最优分配

假设一张图像包含 MM 个已标注目标,检测器产生 NN 个预测,且 M≤NM\leq N。真实目标 ii 的类别为 cic_i,边界框为 bib_i;预测 jj 给出的类别概率为 p^j\hat p_j,边界框为 b^j\hat b_j。

训练时,首先寻找一个从真实目标到预测槽位的单射分配 σ\sigma:

σ^=arg min⁡σ∑i=1MC(i,σ(i)).\hat{\sigma} = \underset{\sigma}{\operatorname{arg\,min}} \sum_{i=1}^{M} C(i,\sigma(i)).

一种典型的匹配代价为

C(i,j)=−p^j(ci)+λ1∥bi−b^j∥1+λG[1−GIoU⁡(bi,b^j)],C(i,j) = -\hat p_j(c_i) + \lambda_1\lVert b_i-\hat b_j\rVert_1 + \lambda_{\mathrm{G}} \left[1-\operatorname{GIoU}(b_i,\hat b_j)\right],

其中,各系数用于平衡类别项与定位项。分配结果通过匈牙利算法计算得到。

一对一约束至关重要。两个预测不能同时分配给同一个真实目标,一个预测也不能分配给两个不同目标。改变标注的排列顺序,不会改变其本质上的集合匹配问题。

分类损失与边界框损失

在某个训练步骤中确定分配关系后,对匹配成功的预测计算分类损失和定位损失。未匹配的预测则被训练为预测“无目标”。一个简化的目标函数为

L=∑i=1M[−log⁡p^σ^(i)(ci)+λ1∥bi−b^σ^(i)∥1+λG(1−GIoU⁡(bi,b^σ^(i)))]+λ∅∑j∉Im⁡(σ^)−log⁡p^j(∅).\mathcal{L} = \sum_{i=1}^{M} \left[ -\log \hat p_{\hat{\sigma}(i)}(c_i) + \lambda_1\lVert b_i-\hat b_{\hat{\sigma}(i)}\rVert_1 + \lambda_{\mathrm{G}} \left(1-\operatorname{GIoU} (b_i,\hat b_{\hat{\sigma}(i)})\right) \right] + \lambda_{\varnothing} \sum_{j\notin\operatorname{Im}(\hat{\sigma})} -\log \hat p_j(\varnothing).

这里,∅\varnothing 表示“无目标”类别。由于大多数槽位都可能没有匹配目标,因此会降低这一项的权重。

定位损失函数将 L1L_1 坐标损失与广义交并比(GIoU)相结合。即使两个边界框不相交,GIoU也能提供几何惩罚。

离散的分配过程本身不参与求导。它用于选定预测与目标的配对,再通过反向传播对这些配对的损失求导。原始模型还对解码器中间层施加辅助预测损失,以促进优化。

为什么通常无需重复检测抑制

如果多个槽位预测了同一个目标,其中只有一个能够与该目标匹配。其余槽位必须匹配其他目标,或学习“无目标”标签。因此,模型是在训练中受到避免重复预测的约束,而不是由独立的NMS阶段强制去重。

这是一种学习得到的行为,并不意味着从数学上保证重复预测绝不会发生。推理时,具体实现仍然需要解码边界框、移除“无目标”预测,也可能采用得分阈值或限制输出数量。

原始结果与实际特性

原始DETR发表于2020年欧洲计算机视觉会议。在COCO数据集目标检测基准上,它使用更简洁的检测专用流程,取得了可与成熟检测器竞争的性能。

但它的结果并非在所有条件下都更好。原始模型对大型目标尤其有效,但对小型目标的检测弱于同期表现较强的基线模型。它也需要较长的训练周期:广泛使用的原始配置训练了500轮。

以下几个因素有助于解释这些特点:

  • **低分辨率特征:**骨干网络的最终特征图可能丢失小目标定位所需的细节。
  • **全局稠密注意力:**提高特征图分辨率,会使编码器的注意力计算开销急剧增加。
  • **训练初期优化困难:**最初尚不包含有效信息的查询,必须同时学习应关注哪里以及应表示哪些目标。
  • **单一特征尺度:**原始架构并未像许多检测系统那样,直接利用由不同分辨率特征构成的层级结构。

因此,概念上的简洁并不意味着在所有情况下训练成本都更低,或推理速度都更快。与YOLO目标检测模型等检测器系列进行比较时,结果取决于具体模型、输入分辨率、硬件和精度要求。

后续发展

DETR确立的是一种广泛适用的设计范式,而非一种始终不变的架构。后续检测器在保留集合预测和匹配机制的同时,对注意力、查询、特征表示或训练方式进行了调整。

可变形注意力与多尺度特征

可变形DETR不再对所有图像位置采用稠密注意力,而是在参考位置周围,对一小组通过学习确定的采样点施加注意力。它还融合了多种分辨率的特征。

这种方式降低了对高分辨率表示进行注意力计算的成本,并改善了收敛表现和小目标检测效果。其采样机制不同于原始DETR的稠密全局注意力,但保留了整体上的集合预测方法。

具有空间结构的查询

后续设计为查询引入了更明确的几何结构。查询不再仅依赖无约束的嵌入,还可以包含参考点或动态细化的边界框。

例如,DAB-DETR使用动态锚框表示查询。这里的“锚框”并不意味着它只是恢复了原有的稠密、手工设计的锚框流程:查询的几何信息是Transformer通过学习完成检测过程的一部分。

基于去噪的训练

DN-DETR引入了一项辅助训练任务:从刻意扰动的标签和边界框中重建目标。这为解码器提供了有用的学习信号,使每个训练样本不必完全依赖训练初期尚不稳定的分配结果。

DINO进一步发展了基于去噪的训练、查询初始化和边界框细化。这些系统仍属于DETR系列模型,但可能在架构和训练周期上与原始模型存在显著差异。后续系列成员所报告的结果,不应归于2020年的原始模型。

应用与扩展

DETR既可用作通用检测架构和研究基线,也可作为更大型计算机视觉系统的组成部分。

其基于查询的表示还可以支持类别与边界框预测之外的任务:

  • **实例分割:**目标查询可以与表示单个目标的掩码关联。
  • **全景分割:**能够生成掩码的模型可以将可数的目标实例与背景类别结合起来。
  • **跟踪与视频分析:**查询表示可以扩展用于跨帧关联目标。
  • **开放词汇目标检测:**基于查询的检测器可以引入从语言中获取的类别表示,而不局限于固定的分类头。

这些应用需要额外的架构组件、训练目标或数据。它们是对该框架的扩展,而不是原始检测器自动具备的能力。

局限与概念辨析

**集合预测并未消除针对具体任务进行设计选择的必要性。**查询数量、骨干网络分辨率、匹配代价、损失权重、置信度阈值和标注规范仍然十分重要。

**固定的查询数量限制了输出容量。**极度拥挤的图像可能需要更多查询、更高分辨率的特征或专门的方法。增加查询数量也会改变计算和训练需求。

**一对一匹配可能导致监督信号稀疏。**在主要的匹配损失中,每个目标只为一个槽位提供正例检测目标。辅助任务、去噪和替代分配策略,都是后续系统应对这一问题的方法。

**全局上下文无法消除识别错误。**遮挡、微小目标、类别歧义、标注缺失和分布偏移仍然是导致失败的因素。

**“DETR”与“基于Transformer的检测器”并非同义词。**一些检测器虽然使用Transformer,却仍保留稠密预测或NMS。反过来,源自DETR的系统也可能替换原始Transformer设计中的大量部分。其标志性贡献在于将可学习的目标查询、直接集合预测和一对一分配结合起来,而不仅仅在于使用注意力。