**交并比(Intersection over Union,IoU)**是衡量两个集合相似程度的指标,定义为两者交集的大小除以并集的大小。在计算机视觉中,它用于衡量预测区域与参考区域(例如标注的边界框或分割掩码)的重叠程度。在并集大小不为零的前提下,IoU 的取值范围为 0 到 1:区域完全不重叠时为 0,完全相同时为 1。它广泛用于评估目标检测、语义分割和实例分割,也是训练目标和预测结果筛选流程的组成部分。
定义与数学性质
对于两个有限集合 和 ,IoU 定义为
这里, 表示元素个数。对于几何区域,它则表示适当的测度,例如二维中的面积或三维中的体积。并集中的每个元素,无论属于其中一个集合还是同时属于两个集合,都只计数一次。
例如,如果预测掩码包含 80 个像素,参考掩码包含 100 个像素,而两者的交集包含 60 个像素,则
重要性质包括:
- **对称性:**交换预测结果与参考结果不会改变计算结果。
- 有界性:。
- **完全一致:**取值为 1 表示两个集合一致;对于连续区域,允许存在测度为零的差异。
- **尺度不变性:**对两个几何区域施加相同的等比例缩放,不会改变它们的 IoU。
这种基于集合的度量也称为杰卡德指数,起源于 20 世纪初比较物种分布的研究。它的补量
称为杰卡德距离。在妥善定义空集情形后,它构成有限集合上的一种度量。
如果两个集合均为空集,上述比值就是 ,若不另作约定便没有定义。具体实现可能将其设为 1,在计算平均值时排除这种情况,或采用其他明确说明的规则。如果恰好只有一个集合为空集,IoU 为 0。
边界框的计算
对于轴对齐矩形框,可以直接根据坐标计算 IoU。设边界框 的两个角点为 和 ,各坐标按从小到大的顺序排列,并以类似方式定义边界框 。
交集的宽和高分别为
交集面积为 ,因此
坐标约定十分重要。采用连续坐标的边界框通常通过坐标相减来计算边长。一些较早的图像处理约定则将整数端点视为包含在内,因此会在相应的差值上加 1。混用这些约定会导致分数不一致,对小边界框的影响尤其明显。
旋转矩形和更一般的形状需要进行几何求交计算,通常会用到计算几何中的多边形裁剪。三维边界框使用交集与并集的体积。对于二值分割掩码,可以通过对像素或体素逐元素执行逻辑运算来获得交集和并集。
在目标检测中的应用
在目标检测中,IoU 主要衡量定位精度。将预测框与参考框进行比较,并借助重叠阈值判断其定位是否足够准确,从而可以算作一次正确检测。
0.5 是常见的阈值,但它并非 IoU 定义的一部分。不同的基准测试和应用会采用不同阈值。通常,一次检测还需要具有正确的类别标签,并且预测结果必须按照评估协议与参考目标进行匹配。
匹配规则可防止针对同一目标的多个预测都被计为正确检测。在典型的评估流程中,预测结果按置信度分数依次处理,并与符合条件的参考目标匹配。未匹配的预测计为假正例,未匹配的参考目标计为假负例。对于忽略区域或成组目标,可能另有特殊规则。
因此,IoU 与平均精度(AP)不同:
- IoU 描述一对区域之间的重叠程度。
- AP 基于在指定重叠阈值下建立的匹配,汇总不同置信度阈值下的检测性能。
COCO数据集的评估协议将 IoU 阈值从 0.50 到 0.95、以 0.05 为步长分别计算得到的 AP 取平均,作为主要 AP 指标,同时也报告特定阈值下的单独指标。重叠阈值越高,就越强调精确定位。
IoU 也用于非极大值抑制(NMS)。标准 NMS 会保留一个高分检测结果,并抑制与其重叠程度超过指定阈值的低分检测结果。这能减少重复预测,但也可能误抑制彼此靠近或高度重叠的不同目标。NMS 的重叠阈值与用于评估检测是否正确的阈值用途不同。
在分割中的应用
对于图像分割中的单个前景类别,IoU 可以用像素级分类的计数表示为:
其中,、 和 分别表示真正例、假正例和假负例的像素数。真负例像素不参与计算。因此,大量被正确预测的背景像素不会直接抬高前景 IoU,而它们却可能抬高总体像素准确率。
对于评估 个类别的语义分割,平均交并比通常写作 mIoU,其常见定义为
无论每个类别出现的频率如何,它们在这一平均值中的权重都相同。其他汇总方式包括按频率加权的 IoU,以及先累积计数再计算的总体比值。
汇总方式会对结果产生实质影响。先在整个数据集上计算每个类别的交集与并集,再进行相除,通常不等同于对每张图像的 IoU 取平均。结果还取决于是否包含背景、如何处理忽略标签,以及当某个类别在预测结果和参考结果中都不存在时如何处理。
对于实例分割,IoU 比较的是单个目标的掩码,而不只是某一语义类别的所有像素。另行执行的匹配流程会确定每个预测实例对应哪个参考实例。
与其他重叠度量的关系
戴斯系数又称 Sørensen–Dice 系数,其定义为
对于相同的两个集合,在分母不为零时,戴斯系数与 IoU 的关系为
因此,尽管数值不同,两者对单个区域对给出的排序是一致的。但由于这种转换是非线性的,对多个样例的分数取平均后,两者可能产生不同的排序。
IoU 也不同于精确率和召回率。精确率衡量预测为正的元素中有多少比例是正确的;召回率衡量参考结果中的正类元素有多少比例被检出。IoU 则通过一个比值,同时惩罚预测中多出的区域和遗漏的参考区域。
训练目标与扩展
在深度学习中,基于 IoU 的损失函数可以使训练更直接地契合基于重叠程度的评估标准。一种基本形式为
不过,普通 IoU 作为优化目标也有局限。对于不相交的边界框,在一定坐标变化范围内,交集面积始终为零,因此损失可能无法提供引导两个框相互靠近的有效局部梯度。其分段式的几何定义也会引入不可微的边界。
一种扩展是广义交并比(GIoU):
其中, 是指定的包围区域,通常是包含两个输入框的最小轴对齐矩形框。新增项会惩罚该包围区域内未被占用的空间,从而区分许多互不重叠的布局。与普通 IoU 不同,GIoU 可以为负。
距离交并比(Distance-IoU)增加了基于边界框中心距离的惩罚项,而完全交并比(Complete-IoU)还进一步考虑宽高比差异。这些目标引入了仅靠重叠程度无法体现的几何信息。
对于分割,软交并比(soft IoU)用连续的预测分数替代二值的归属判断。对于分数 和二值标签 ,一种常见形式为
可以加入一个很小的平滑常数,以提高数值稳定性。软交并比是训练时使用的替代指标,不一定等于将预测结果按阈值转换为二值掩码后得到的分数。它的表现也取决于各项是按图像、按类别,还是在整个训练批次上累积计算。
局限与解读
IoU 概括的是重叠程度,而不是预测质量的所有方面。
- **小目标对位移敏感。**同样大小的绝对坐标误差,在小目标上造成的 IoU 降幅可能远大于在大目标上的降幅。
- **只能间接反映边界质量。**两个预测的 IoU 可能相近,但其轮廓精度、连通性或拓扑结构可能差别很大。
- **零重叠无法体现距离。**无论预测只是与目标擦肩而过,还是远离目标,普通 IoU 都会给出相同的 0 分。
- **区域的表示方式很重要。**边界框 IoU 衡量的是包围矩形的重叠程度,不一定反映目标实际形状的重叠程度。
- **参考标注会影响分数。**模糊边界、遮挡标注约定和标注错误,都可能在预测结果没有相应变化的情况下改变测得的重叠程度。
- **阈值会引入不连续性。**在检测评估中,重叠程度的微小变化就可能使预测结果从匹配阈值的一侧移到另一侧。
因此,要进行有意义的比较,必须采用一致的区域表示方式、坐标约定、匹配规则和汇总流程。根据任务不同,报告 IoU 时还会同时报告检测精确率与召回率、边界指标或目标级错误计数。