DETR(DEtection TRansformer 的缩写)是一种用于目标检测的深度学习架构,它将图像特征与Transformer架构的编码器—解码器相结合,预测固定数量的候选目标。该架构于2020年在论文《使用Transformer进行端到端目标检测》(End-to-End Object Detection with Transformers)中提出,将检测任务重新表述为直接的集合预测:每个检测到的目标都被赋予一个类别和一个边界框,而未使用的预测则被赋予“无目标”标签。它的突出特点是可学习的目标查询和一对一匹配过程;后者通过训练使不同预测分别表示不同目标,从而不再需要手工设计的锚框和传统的去重后处理。
背景与动机
目标检测既要识别目标,也要确定它们在图像中的位置。与图像分类不同,目标检测必须能够处理数量未知的输出。此外,检测结果并不存在天然的输出顺序:先检测到人、再检测到自行车,应当与先检测到自行车、再检测到人等价。
在DETR出现之前,许多表现出色的检测器会生成大量与图像位置、锚框或候选区域相关联的候选框。多个候选框可能描述同一个目标,因此检测器通常使用非极大值抑制(NMS),剔除相互重叠且得分较低的预测。训练时还需要制定规则,将候选框分配给已标注的目标。
DETR用两个相互关联的思想取代了其中大量面向检测任务的专门机制:
- **集合预测:**输出表示一组目标,而不是具有规定顺序的序列。
- **一对一分配:**训练过程中,每个已标注目标都恰好与一个预测匹配。
这些设计使单个网络能够同时学习目标定位,以及如何区分不同的检测结果。“端到端”并不意味着DETR没有预处理、解码或置信度筛选,而是指其核心检测流程可以联合训练,无需独立的候选区域生成与抑制过程。
架构
原始DETR包含三个主要部分:图像骨干网络、Transformer编码器—解码器,以及预测头。
图像骨干网络与位置信息
卷积神经网络(例如残差神经网络)从输入图像中提取空间特征图。随后,通过投影将特征通道数映射到Transformer的隐藏维度,并将空间网格展平为序列。
仅靠展平操作,注意力层无法得知某个特征位于图像中的什么位置。因此,DETR引入位置编码来保留空间信息。
因此,原始架构是卷积与Transformer相结合的混合模型,而不是将Transformer直接应用于原始像素的检测器。它的集合预测形式,与视觉Transformer所采用的基于图像块的图像表示是不同的概念。
Transformer编码器
编码器对图像特征应用自注意力和前馈层。每个空间位置的特征都可以融合来自其他位置的信息,从而形成包含整幅图像上下文的表示。
当目标的判别依赖周围目标或相距较远的图像区域时,这种全局交互十分有用。但它也会带来计算开销:对于 个空间词元,标准稠密注意力层所构建的交互数量与 成正比。
目标查询与Transformer解码器
解码器接收固定数量 个可学习的目标查询。这些查询是用于区分各输出槽位的可训练嵌入,并不是文本提示、预定义的目标类别,也不是人工放置的边界框。
通过交叉注意力,查询从编码后的图像中提取信息。解码器的自注意力还使各输出槽位能够相互交互,帮助模型协调各槽位分别表示哪些目标。在原始DETR中,所有槽位并行处理,而不是以自回归方式逐个生成。
不应将某个目标查询理解为永久对应某个特定类别或图像位置。查询的行为通过学习获得,其预测取决于输入图像。不过,查询仍可能在统计上对某些空间区域或目标尺度表现出偏好。
预测头
解码器的每个最终输出都会传入:
- 一个分类头,用于预测各目标类别以及额外的“无目标”类别的概率;
- 一个小型多层感知机,用于预测边界框。
边界框通常用归一化的中心坐标、宽度和高度表示:
原始模型通常使用100个查询槽位。这是一项架构设置,并不意味着估计每张图像中都有100个目标。未使用的槽位应预测为“无目标”,而槽位数量则限定了单次前向传播所能返回的目标数量上限。
二分图匹配与训练目标
DETR采用监督学习,使用标注了目标类别和边界框的图像进行训练。其训练中的核心问题是:决定由哪个预测来学习每个已标注目标。
最优分配
假设一张图像包含 个已标注目标,检测器产生 个预测,且 。真实目标 的类别为 ,边界框为 ;预测 给出的类别概率为 ,边界框为 。
训练时,首先寻找一个从真实目标到预测槽位的单射分配 :
一种典型的匹配代价为
其中,各系数用于平衡类别项与定位项。分配结果通过匈牙利算法计算得到。
一对一约束至关重要。两个预测不能同时分配给同一个真实目标,一个预测也不能分配给两个不同目标。改变标注的排列顺序,不会改变其本质上的集合匹配问题。
分类损失与边界框损失
在某个训练步骤中确定分配关系后,对匹配成功的预测计算分类损失和定位损失。未匹配的预测则被训练为预测“无目标”。一个简化的目标函数为
这里, 表示“无目标”类别。由于大多数槽位都可能没有匹配目标,因此会降低这一项的权重。
定位损失函数将 坐标损失与广义交并比(GIoU)相结合。即使两个边界框不相交,GIoU也能提供几何惩罚。
离散的分配过程本身不参与求导。它用于选定预测与目标的配对,再通过反向传播对这些配对的损失求导。原始模型还对解码器中间层施加辅助预测损失,以促进优化。
为什么通常无需重复检测抑制
如果多个槽位预测了同一个目标,其中只有一个能够与该目标匹配。其余槽位必须匹配其他目标,或学习“无目标”标签。因此,模型是在训练中受到避免重复预测的约束,而不是由独立的NMS阶段强制去重。
这是一种学习得到的行为,并不意味着从数学上保证重复预测绝不会发生。推理时,具体实现仍然需要解码边界框、移除“无目标”预测,也可能采用得分阈值或限制输出数量。
原始结果与实际特性
原始DETR发表于2020年欧洲计算机视觉会议。在COCO数据集目标检测基准上,它使用更简洁的检测专用流程,取得了可与成熟检测器竞争的性能。
但它的结果并非在所有条件下都更好。原始模型对大型目标尤其有效,但对小型目标的检测弱于同期表现较强的基线模型。它也需要较长的训练周期:广泛使用的原始配置训练了500轮。
以下几个因素有助于解释这些特点:
- **低分辨率特征:**骨干网络的最终特征图可能丢失小目标定位所需的细节。
- **全局稠密注意力:**提高特征图分辨率,会使编码器的注意力计算开销急剧增加。
- **训练初期优化困难:**最初尚不包含有效信息的查询,必须同时学习应关注哪里以及应表示哪些目标。
- **单一特征尺度:**原始架构并未像许多检测系统那样,直接利用由不同分辨率特征构成的层级结构。
因此,概念上的简洁并不意味着在所有情况下训练成本都更低,或推理速度都更快。与YOLO目标检测模型等检测器系列进行比较时,结果取决于具体模型、输入分辨率、硬件和精度要求。
后续发展
DETR确立的是一种广泛适用的设计范式,而非一种始终不变的架构。后续检测器在保留集合预测和匹配机制的同时,对注意力、查询、特征表示或训练方式进行了调整。
可变形注意力与多尺度特征
可变形DETR不再对所有图像位置采用稠密注意力,而是在参考位置周围,对一小组通过学习确定的采样点施加注意力。它还融合了多种分辨率的特征。
这种方式降低了对高分辨率表示进行注意力计算的成本,并改善了收敛表现和小目标检测效果。其采样机制不同于原始DETR的稠密全局注意力,但保留了整体上的集合预测方法。
具有空间结构的查询
后续设计为查询引入了更明确的几何结构。查询不再仅依赖无约束的嵌入,还可以包含参考点或动态细化的边界框。
例如,DAB-DETR使用动态锚框表示查询。这里的“锚框”并不意味着它只是恢复了原有的稠密、手工设计的锚框流程:查询的几何信息是Transformer通过学习完成检测过程的一部分。
基于去噪的训练
DN-DETR引入了一项辅助训练任务:从刻意扰动的标签和边界框中重建目标。这为解码器提供了有用的学习信号,使每个训练样本不必完全依赖训练初期尚不稳定的分配结果。
DINO进一步发展了基于去噪的训练、查询初始化和边界框细化。这些系统仍属于DETR系列模型,但可能在架构和训练周期上与原始模型存在显著差异。后续系列成员所报告的结果,不应归于2020年的原始模型。
应用与扩展
DETR既可用作通用检测架构和研究基线,也可作为更大型计算机视觉系统的组成部分。
其基于查询的表示还可以支持类别与边界框预测之外的任务:
- **实例分割:**目标查询可以与表示单个目标的掩码关联。
- **全景分割:**能够生成掩码的模型可以将可数的目标实例与背景类别结合起来。
- **跟踪与视频分析:**查询表示可以扩展用于跨帧关联目标。
- **开放词汇目标检测:**基于查询的检测器可以引入从语言中获取的类别表示,而不局限于固定的分类头。
这些应用需要额外的架构组件、训练目标或数据。它们是对该框架的扩展,而不是原始检测器自动具备的能力。
局限与概念辨析
**集合预测并未消除针对具体任务进行设计选择的必要性。**查询数量、骨干网络分辨率、匹配代价、损失权重、置信度阈值和标注规范仍然十分重要。
**固定的查询数量限制了输出容量。**极度拥挤的图像可能需要更多查询、更高分辨率的特征或专门的方法。增加查询数量也会改变计算和训练需求。
**一对一匹配可能导致监督信号稀疏。**在主要的匹配损失中,每个目标只为一个槽位提供正例检测目标。辅助任务、去噪和替代分配策略,都是后续系统应对这一问题的方法。
**全局上下文无法消除识别错误。**遮挡、微小目标、类别歧义、标注缺失和分布偏移仍然是导致失败的因素。
**“DETR”与“基于Transformer的检测器”并非同义词。**一些检测器虽然使用Transformer,却仍保留稠密预测或NMS。反过来,源自DETR的系统也可能替换原始Transformer设计中的大量部分。其标志性贡献在于将可学习的目标查询、直接集合预测和一对一分配结合起来,而不仅仅在于使用注意力。