{
  "id": "detr",
  "title": "DETR",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "DETR是一种基于Transformer的目标检测器，通过二分图匹配学习无序目标集合，无需手工设计锚框或非极大值抑制。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "检测Transformer"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/detr/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/detr/",
      "json": "https://aiwiki.page/en/detr.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "DETR（DEtection TRansformer 的缩写）是一种用于目标检测的深度学习架构，它将图像特征与Transformer架构的编码器—解码器相结合，预测固定数量的候选目标。该架构于2020年在论文《使用Transformer进行端到端目标检测》（End-to-End Object Detection with Transformers）中提出，将检测任务重新表述为直接的集合预测：每个检测到的目标都被赋予一个类别和一个边界框，而未使用的预测则被赋予“无目标”标签。它的突出特点是可学习的目标查询和一对一匹配过程；后者通过训练使不同预测分别表示不同目标，从而不再需要手工设计的锚框和传统的去重后处理。"
    },
    {
      "heading": "背景与动机",
      "text": "目标检测既要识别目标，也要确定它们在图像中的位置。与图像分类不同，目标检测必须能够处理数量未知的输出。此外，检测结果并不存在天然的输出顺序：先检测到人、再检测到自行车，应当与先检测到自行车、再检测到人等价。\n\n在DETR出现之前，许多表现出色的检测器会生成大量与图像位置、锚框或候选区域相关联的候选框。多个候选框可能描述同一个目标，因此检测器通常使用非极大值抑制（NMS），剔除相互重叠且得分较低的预测。训练时还需要制定规则，将候选框分配给已标注的目标。\n\nDETR用两个相互关联的思想取代了其中大量面向检测任务的专门机制：\n\n- **集合预测：**输出表示一组目标，而不是具有规定顺序的序列。\n- **一对一分配：**训练过程中，每个已标注目标都恰好与一个预测匹配。\n\n这些设计使单个网络能够同时学习目标定位，以及如何区分不同的检测结果。“端到端”并不意味着DETR没有预处理、解码或置信度筛选，而是指其核心检测流程可以联合训练，无需独立的候选区域生成与抑制过程。"
    },
    {
      "heading": "架构",
      "text": "原始DETR包含三个主要部分：图像骨干网络、Transformer编码器—解码器，以及预测头。\n\n图像骨干网络与位置信息\n\n卷积神经网络（例如残差神经网络）从输入图像中提取空间特征图。随后，通过投影将特征通道数映射到Transformer的隐藏维度，并将空间网格展平为序列。\n\n仅靠展平操作，注意力层无法得知某个特征位于图像中的什么位置。因此，DETR引入位置编码来保留空间信息。\n\n因此，原始架构是卷积与Transformer相结合的混合模型，而不是将Transformer直接应用于原始像素的检测器。它的集合预测形式，与视觉Transformer所采用的基于图像块的图像表示是不同的概念。\n\nTransformer编码器\n\n编码器对图像特征应用自注意力和前馈层。每个空间位置的特征都可以融合来自其他位置的信息，从而形成包含整幅图像上下文的表示。\n\n当目标的判别依赖周围目标或相距较远的图像区域时，这种全局交互十分有用。但它也会带来计算开销：对于 \\(S\\) 个空间词元，标准稠密注意力层所构建的交互数量与 \\(S^2\\) 成正比。\n\n目标查询与Transformer解码器\n\n解码器接收固定数量 \\(N\\) 个可学习的目标查询。这些查询是用于区分各输出槽位的可训练嵌入，并不是文本提示、预定义的目标类别，也不是人工放置的边界框。\n\n通过交叉注意力，查询从编码后的图像中提取信息。解码器的自注意力还使各输出槽位能够相互交互，帮助模型协调各槽位分别表示哪些目标。在原始DETR中，所有槽位并行处理，而不是以自回归方式逐个生成。\n\n不应将某个目标查询理解为永久对应某个特定类别或图像位置。查询的行为通过学习获得，其预测取决于输入图像。不过，查询仍可能在统计上对某些空间区域或目标尺度表现出偏好。\n\n预测头\n\n解码器的每个最终输出都会传入：\n\n- 一个分类头，用于预测各目标类别以及额外的“无目标”类别的概率；\n- 一个小型多层感知机，用于预测边界框。\n\n边界框通常用归一化的中心坐标、宽度和高度表示：\n\n\\[b=(c_x,c_y,w,h).\\]\n\n原始模型通常使用100个查询槽位。这是一项架构设置，并不意味着估计每张图像中都有100个目标。未使用的槽位应预测为“无目标”，而槽位数量则限定了单次前向传播所能返回的目标数量上限。"
    },
    {
      "heading": "二分图匹配与训练目标",
      "text": "DETR采用监督学习，使用标注了目标类别和边界框的图像进行训练。其训练中的核心问题是：决定由哪个预测来学习每个已标注目标。\n\n最优分配\n\n假设一张图像包含 \\(M\\) 个已标注目标，检测器产生 \\(N\\) 个预测，且 \\(M\\leq N\\)。真实目标 \\(i\\) 的类别为 \\(c_i\\)，边界框为 \\(b_i\\)；预测 \\(j\\) 给出的类别概率为 \\(\\hat p_j\\)，边界框为 \\(\\hat b_j\\)。\n\n训练时，首先寻找一个从真实目标到预测槽位的单射分配 \\(\\sigma\\)：\n\n\\[\\hat{\\sigma} = \\underset{\\sigma}{\\operatorname{arg\\,min}} \\sum_{i=1}^{M} C(i,\\sigma(i)).\\]\n\n一种典型的匹配代价为\n\n\\[C(i,j) = -\\hat p_j(c_i) + \\lambda_1\\lVert b_i-\\hat b_j\\rVert_1 + \\lambda_{\\mathrm{G}} \\left[1-\\operatorname{GIoU}(b_i,\\hat b_j)\\right],\\]\n\n其中，各系数用于平衡类别项与定位项。分配结果通过匈牙利算法计算得到。\n\n一对一约束至关重要。两个预测不能同时分配给同一个真实目标，一个预测也不能分配给两个不同目标。改变标注的排列顺序，不会改变其本质上的集合匹配问题。\n\n分类损失与边界框损失\n\n在某个训练步骤中确定分配关系后，对匹配成功的预测计算分类损失和定位损失。未匹配的预测则被训练为预测“无目标”。一个简化的目标函数为\n\n\\[\\mathcal{L} = \\sum_{i=1}^{M} \\left[ -\\log \\hat p_{\\hat{\\sigma}(i)}(c_i) + \\lambda_1\\lVert b_i-\\hat b_{\\hat{\\sigma}(i)}\\rVert_1 + \\lambda_{\\mathrm{G}} \\left(1-\\operatorname{GIoU} (b_i,\\hat b_{\\hat{\\sigma}(i)})\\right) \\right] + \\lambda_{\\varnothing} \\sum_{j\\notin\\operatorname{Im}(\\hat{\\sigma})} -\\log \\hat p_j(\\varnothing).\\]\n\n这里，\\(\\varnothing\\) 表示“无目标”类别。由于大多数槽位都可能没有匹配目标，因此会降低这一项的权重。\n\n定位损失函数将 \\(L_1\\) 坐标损失与广义交并比（GIoU）相结合。即使两个边界框不相交，GIoU也能提供几何惩罚。\n\n离散的分配过程本身不参与求导。它用于选定预测与目标的配对，再通过反向传播对这些配对的损失求导。原始模型还对解码器中间层施加辅助预测损失，以促进优化。\n\n为什么通常无需重复检测抑制\n\n如果多个槽位预测了同一个目标，其中只有一个能够与该目标匹配。其余槽位必须匹配其他目标，或学习“无目标”标签。因此，模型是在训练中受到避免重复预测的约束，而不是由独立的NMS阶段强制去重。\n\n这是一种学习得到的行为，并不意味着从数学上保证重复预测绝不会发生。推理时，具体实现仍然需要解码边界框、移除“无目标”预测，也可能采用得分阈值或限制输出数量。"
    },
    {
      "heading": "原始结果与实际特性",
      "text": "原始DETR发表于2020年欧洲计算机视觉会议。在COCO数据集目标检测基准上，它使用更简洁的检测专用流程，取得了可与成熟检测器竞争的性能。\n\n但它的结果并非在所有条件下都更好。原始模型对大型目标尤其有效，但对小型目标的检测弱于同期表现较强的基线模型。它也需要较长的训练周期：广泛使用的原始配置训练了500轮。\n\n以下几个因素有助于解释这些特点：\n\n- **低分辨率特征：**骨干网络的最终特征图可能丢失小目标定位所需的细节。\n- **全局稠密注意力：**提高特征图分辨率，会使编码器的注意力计算开销急剧增加。\n- **训练初期优化困难：**最初尚不包含有效信息的查询，必须同时学习应关注哪里以及应表示哪些目标。\n- **单一特征尺度：**原始架构并未像许多检测系统那样，直接利用由不同分辨率特征构成的层级结构。\n\n因此，概念上的简洁并不意味着在所有情况下训练成本都更低，或推理速度都更快。与YOLO目标检测模型等检测器系列进行比较时，结果取决于具体模型、输入分辨率、硬件和精度要求。"
    },
    {
      "heading": "后续发展",
      "text": "DETR确立的是一种广泛适用的设计范式，而非一种始终不变的架构。后续检测器在保留集合预测和匹配机制的同时，对注意力、查询、特征表示或训练方式进行了调整。\n\n可变形注意力与多尺度特征\n\n可变形DETR不再对所有图像位置采用稠密注意力，而是在参考位置周围，对一小组通过学习确定的采样点施加注意力。它还融合了多种分辨率的特征。\n\n这种方式降低了对高分辨率表示进行注意力计算的成本，并改善了收敛表现和小目标检测效果。其采样机制不同于原始DETR的稠密全局注意力，但保留了整体上的集合预测方法。\n\n具有空间结构的查询\n\n后续设计为查询引入了更明确的几何结构。查询不再仅依赖无约束的嵌入，还可以包含参考点或动态细化的边界框。\n\n例如，DAB-DETR使用动态锚框表示查询。这里的“锚框”并不意味着它只是恢复了原有的稠密、手工设计的锚框流程：查询的几何信息是Transformer通过学习完成检测过程的一部分。\n\n基于去噪的训练\n\nDN-DETR引入了一项辅助训练任务：从刻意扰动的标签和边界框中重建目标。这为解码器提供了有用的学习信号，使每个训练样本不必完全依赖训练初期尚不稳定的分配结果。\n\nDINO进一步发展了基于去噪的训练、查询初始化和边界框细化。这些系统仍属于DETR系列模型，但可能在架构和训练周期上与原始模型存在显著差异。后续系列成员所报告的结果，不应归于2020年的原始模型。"
    },
    {
      "heading": "应用与扩展",
      "text": "DETR既可用作通用检测架构和研究基线，也可作为更大型计算机视觉系统的组成部分。\n\n其基于查询的表示还可以支持类别与边界框预测之外的任务：\n\n- **实例分割：**目标查询可以与表示单个目标的掩码关联。\n- **全景分割：**能够生成掩码的模型可以将可数的目标实例与背景类别结合起来。\n- **跟踪与视频分析：**查询表示可以扩展用于跨帧关联目标。\n- **开放词汇目标检测：**基于查询的检测器可以引入从语言中获取的类别表示，而不局限于固定的分类头。\n\n这些应用需要额外的架构组件、训练目标或数据。它们是对该框架的扩展，而不是原始检测器自动具备的能力。"
    },
    {
      "heading": "局限与概念辨析",
      "text": "**集合预测并未消除针对具体任务进行设计选择的必要性。**查询数量、骨干网络分辨率、匹配代价、损失权重、置信度阈值和标注规范仍然十分重要。\n\n**固定的查询数量限制了输出容量。**极度拥挤的图像可能需要更多查询、更高分辨率的特征或专门的方法。增加查询数量也会改变计算和训练需求。\n\n**一对一匹配可能导致监督信号稀疏。**在主要的匹配损失中，每个目标只为一个槽位提供正例检测目标。辅助任务、去噪和替代分配策略，都是后续系统应对这一问题的方法。\n\n**全局上下文无法消除识别错误。**遮挡、微小目标、类别歧义、标注缺失和分布偏移仍然是导致失败的因素。\n\n**“DETR”与“基于Transformer的检测器”并非同义词。**一些检测器虽然使用Transformer，却仍保留稠密预测或NMS。反过来，源自DETR的系统也可能替换原始Transformer设计中的大量部分。其标志性贡献在于将可学习的目标查询、直接集合预测和一对一分配结合起来，而不仅仅在于使用注意力。"
    }
  ],
  "links": [
    "object-detection",
    "deep-learning",
    "transformer-architecture",
    "image-classification",
    "non-maximum-suppression",
    "convolutional-neural-network",
    "residual-neural-network",
    "positional-encoding",
    "vision-transformer",
    "self-attention",
    "cross-attention",
    "multilayer-perceptron",
    "supervised-learning",
    "loss-function",
    "backpropagation",
    "coco-dataset",
    "yolo",
    "computer-vision",
    "instance-segmentation",
    "open-vocabulary-object-detection",
    "distribution-shift"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}