**非极大值抑制(Non-Maximum Suppression,NMS)**是计算机视觉和图像处理中的一类筛选方法,用于保留较强的响应,同时抑制指定邻域内与之竞争的响应。在目标检测中,它通常指一种后处理算法,用于选出高分边界框,并移除与其重叠过多的低分边界框。在边缘检测和特征检测中,它则用于寻找空间响应图中的局部峰值。这些用途都遵循选择局部占优响应的原则,但在邻域的定义和比较方式上有所不同。
目的与基本原理
视觉分析系统往往会针对同一个潜在结构产生多个响应。一条边缘可能在梯度幅值图中形成一条较宽的脊线,而非单像素宽的轮廓。目标检测器可能在同一个目标周围预测出许多相互重叠的边界框,尤其是在多个位置和尺度上生成预测时。
NMS 通过以下三个要素减少这种冗余:
- **候选项:**像素、特征位置、边界框或其他预测结构。
- **分数:**表示响应强度或预测置信度的数值。
- **竞争规则:**规定候选项在多大程度上接近或相似时会相互抑制。
“极大值”通常指邻域内的极大值,而非整幅图像中唯一的最大响应。只要候选项之间不直接竞争,就可以有多个候选项被保留。
NMS 与置信度阈值筛选并不相同。阈值筛选移除的是自身分数过低的候选项;NMS 移除候选项,则是因为存在更强的竞争者。检测流程通常会同时使用这两种方法。
目标检测中的贪心 NMS
标准的检测筛选过程通常称为硬 NMS或贪心 NMS,其输入包括边界框 、对应分数 ,以及重叠阈值 。
重叠程度通常用交并比(IoU)衡量:
对于面积为正的边界框,IoU 的取值范围为 0 到 1:没有重叠面积时为 0,两个边界框完全相同时为 1。
算法步骤如下:
- 从剩余边界框中选出分数最高的一个。
- 将其加入输出结果。
- 将其从候选集合中移除,并丢弃剩余候选中与它的 IoU 超过 的边界框。
- 重复上述过程,直到没有剩余候选,或达到指定的输出数量上限。
分数通常来自预测的类别置信度,有时也会结合单独的目标存在性分数。这些分数不一定是经过校准的概率,因为算法主要使用它们的排序。
示例
假设有三个边界框预测为同一类别:
| 边界框 | 分数 | 相关重叠情况 |
|---|---|---|
| A | 0.95 | 与 B 的 IoU:0.80 |
| B | 0.88 | 与 C 的 IoU:0.60 |
| C | 0.75 | 与 A 的 IoU:0.20 |
当 时,首先选中 A,B 被抑制。C 与 A 的 IoU 仅为 0.20,因此得以保留。B 与 C 之间的重叠不会导致 C 被抑制,因为 B 是被丢弃的,而不是被选中的。
因此,贪心 NMS 并不是简单地将所有通过重叠关系连成一片的边界框归为一组,再从每组中保留一个边界框。其决策取决于边界框被选中的先后顺序。
贪心选择能够保证什么
采用通常的抑制规则时,同一抑制组内任意两个被保留边界框的 IoU 都不会超过阈值。如果算法不设输出数量上限,并一直运行到候选集合为空,那么每个被丢弃的候选项都曾受到某个被保留候选项的抑制。
这些局部性质并不意味着结果具有全局最优性。贪心 NMS 是一种启发式方法:优先选择分数最高的边界框,并不一定能使保留分数的总和最大,也不一定能得到最准确的一组目标位置。
类别处理与阈值
按类别抑制与类别无关抑制
按类别 NMS 分别处理每个预测类别。因此,类别标签不同的边界框即使高度重叠,也可能同时保留。当不同类别的目标确实相互重叠时,这种方式很有用,但它也可能为同一个目标保留相互冲突的标签。
类别无关 NMS 允许所有边界框相互竞争,不考虑类别标签。它能够移除跨类别的重复预测,但也可能抑制属于不同类别的独立目标。
一些实现通过批量操作执行按类别抑制,而不是逐个类别单独调用。其预期的竞争规则仍然取决于类别。
阈值的影响
IoU 阈值是控制抑制强度的一个超参数:
- 较低的阈值会抑制更多重叠边界框,减少重复检测,但也会增加误删邻近独立目标的风险。
- 较高的阈值会保留更多重叠边界框,可能有助于保留密集场景中的目标,但也会留下冗余检测。
分数阈值、重叠阈值、NMS 前的候选数量上限,以及最终输出数量上限,各有不同的作用。它们的影响相互交织,因此仅凭重叠阈值无法完整描述一个检测流程。
阈值选择通常在验证集上使用平均精度等指标进行评估。合适的设置取决于检测器、目标密度、评分特性和评估规程,而不存在普遍适用的默认值。
边缘检测和特征检测中的 NMS
在边缘检测中,NMS 处理的是从图像中计算得到的响应,而非目标边界框列表。一个典型例子是 1986 年提出的Canny 边缘检测器。
估计图像梯度后,检测器会检查各位置的梯度幅值是否为沿梯度方向的局部极大值;梯度方向大致垂直于边缘。在该方向上不是极大值的响应会被抑制。这样便能将较宽的梯度脊线细化为较窄的边缘候选。完整的 Canny 流程还包括其他阶段,尤其是阈值处理和边缘连接。
这里的邻域具有方向性:一个边缘响应不必是周围整个正方形区域中的最大值,也能被保留。
相关方法还用于在角点响应图、关键点热图或尺度空间表示中选取局部峰值。在这些场景中,抑制过程可能比较空间邻域、相邻尺度,或同时比较二者。相同响应值的处理方式和邻域大小都会影响最终保留特征的数量与间距。
变体与相关方法
Soft-NMS
2017 年提出的Soft-NMS会降低重叠候选项的分数,而不是立即删除所有重叠程度超过阈值的候选项。
对于选中的边界框 ,其线性版本按以下规则更新另一个候选项的分数:
高斯版本则使用如下形式的衰减:
随后根据更新后的分数继续选择,分数足够低的候选项最终会被移除。Soft-NMS 使抑制过程不再那么突兀,能够保留有用的重叠检测,但无法消除密集场景中的所有歧义。
考虑几何信息的抑制与自适应抑制
其他变体会修改竞争规则。它们可能考虑边界框中心距离、朝向、预测的定位质量或估计的目标密集程度,而不只是依赖固定的 IoU 阈值。
对于旋转目标、实例掩码或三维边界框,可以根据相应的几何表示计算重叠程度。例如,实例分割系统可以根据掩码重叠而非边界框重叠来抑制候选项。
合并而非抑制
边界框投票和加权框融合方法会综合多个预测的坐标,而不是简单地保留某个已有边界框。这些方法在整合检测器输出时可能很有用,但与普通硬 NMS 有所不同:最终得到的位置可能与所有输入边界框都不相同。
计算特性
对于 个候选项,初始分数排序通常需要 的时间。直接实现的贪心算法在最坏情况下可能需要进行 次重叠比较。其实际时间复杂度取决于候选项被抑制的速度,以及所需输出的数量。
常见的提效措施包括:
虽然重叠计算可以并行执行,但严格的贪心选择存在顺序依赖:每次选中的边界框都会改变后续仍可参与选择的候选集合。一些速度更快的并行变体修改了选择规则,因此不一定能复现严格贪心 NMS 的结果。
PyTorch 和 TensorFlow 等库提供了 NMS 相关操作。由于坐标约定、数值精度、同分处理方式,以及重叠程度恰好等于阈值时是否触发抑制等方面的差异,不同实现的结果可能不同。对于分数相同的候选项,需要明确规定取舍策略,才能保证选择结果可复现。
局限性及其与检测器设计的关系
NMS 假定高度重叠意味着重复预测。这一假设在密集场景中往往不成立,因为不同目标可能存在大面积重叠。反过来,几何形态差异足够大的重复预测也可能同时保留下来。
它还假定分数较高的候选项应当优先保留。一个分类分数很高但定位不准的边界框,可能会抑制另一个分数较低但定位更准确的边界框。NMS 本身无法纠正不可靠的分数,也无法找回检测器从未提出的目标。
传统硬 NMS 会做出离散的选择和删除决策,因此通常不是能够直接通过反向传播训练的可微分组件。许多检测器因而在生成预测之后,于神经网络推理阶段应用 NMS。
是否需要 NMS 取决于模型设计。Faster R-CNN 和 YOLO目标检测模型的许多配置都使用 NMS 去除重复预测。相比之下,检测Transformer提出了一种端到端的集合预测方法,在训练时采用一对一匹配,使其标准推理流程可以省去传统 NMS。这类方法通过模型架构和训练目标解决重复预测问题,而不是将抑制视为必不可少的最终阶段。