**平均精度(Average Precision,AP)**是一种用于评估有序检索结果和带评分预测的指标。它综合排序列表中或不同评分阈值下的精确率与召回率,衡量系统将相关项目排在不相关项目之前的能力。AP 广泛应用于信息检索、机器学习和计算机视觉。在选定的评估规程下,数值越高表示性能越好。虽然 AP 常被描述为精确率—召回率曲线下的面积,但其数值取决于曲线的构建、插值和平均方式。
排序结果中的定义
考虑一个包含 个项目的排序列表。若排名为 的项目是相关的,令 ,否则令 。设 为评估范围内相关项目的总数,其中也包括可能未出现在返回列表中的相关项目。
排名 处的精确率为
排名 处的召回率为
标准的、基于排名的非插值定义为
只有相关项目所在的排名才对求和有贡献。每一项贡献都是检索到该相关项目时达到的精确率。
当所有相关项目都包含在排序列表中时,AP 就是各相关项目所在排名处精确率的算术平均值。如果返回列表中遗漏了相关项目,分母仍为 ;因此,遗漏的相关项目实际上以零值计入平均。
AP 的取值介于 0 和 1 之间,也可以用百分比表示。要达到 1,必须在检索到任何不相关项目之前检索到所有相关项目。如果不存在相关项目,该公式就没有定义,因此评估规程必须明确:是排除此类情况、将其记为零,还是采用其他处理方式。
示例
假设返回的五个项目具有如下相关性标签:
且相关项目总数为三个。
| 排名 | 是否相关? | 该排名处的精确率 |
|---|---|---|
| 1 | 是 | |
| 2 | 否 | |
| 3 | 是 | |
| 4 | 是 | |
| 5 | 否 |
因此,
排名第 2 的不相关项目降低了后续相关项目所在排名处的精确率。排名第 5 的不相关项目则没有影响,因为所有相关项目都已被检索到。如果还存在第四个相关项目,但没有返回,那么上述分子就应改为除以四。
从精确率—召回率角度理解
在二分类中,模型通常会为每个样本给出一个分数,分数越高,表示支持该样本属于正类的证据越强。逐步降低决策阈值,会将越来越多的样本纳入预测正类,从而生成一条精确率—召回率曲线。
一种常见的、基于阈值的非插值定义为
其中,各阈值按召回率递增的顺序排列, 是第 个工作点的精确率,且 。每一次召回率增量,都以变化后工作点的精确率作为权重。
当各项目的分数互不相同,且每经过一个阈值只纳入一个项目时,这一定义与基于排名的公式一致。因此,AP 可以理解为按阶梯方式计算的精确率—召回率曲线下面积。
AP 与梯形法计算的面积
AP 通常不等于用梯形法则计算的面积。梯形积分以直线连接相邻工作点,而非插值 AP 采用阶梯式约定。使用插值精确率包络线则又会得到另一种结果。
因此,不应自动将“PR AUC”“AUPRC”和“AP”等名称视为可以互换。进行比较时,必须采用相同的曲线构建方法和积分方法。
分数并列
当多个项目的分数相同时,阈值会将它们作为一组同时纳入。基于阈值的 AP 会用纳入整组后得到的精确率,对整组带来的召回率增量加权。
如果基于排名的计算将并列项目逐一排序,则可能因并列项的排列顺序不同而产生不同结果。有些规程会改为对所有可能的并列排列顺序取平均。因此,并列分数的处理方式属于指标定义的一部分,而不仅仅是实现细节。
插值变体
一些检索和检测基准采用插值精确率。在召回率 处,可以将精确率上包络线定义为
这会将某处的精确率替换为在相同或更高召回率下达到的最高精确率。在对整个召回率范围进行采样的基准计算中,未达到的召回率水平通常对应零精确率。
重要的变体包括:
- **十一点插值 AP:**对召回率为 时的插值精确率取平均。
- **全点插值 AP:**在实际观测到的各次召回率变化处,对精确率包络线下的面积求和。
- **固定网格插值 AP:**在指定的一组召回率阈值上对包络线取平均,例如采用 101 个等间隔水平。
即使应用于相同的预测结果,这些变体也不一定等于非插值 AP。历史上的信息检索评估既使用过插值精确率汇总指标,也使用过非插值 AP。在目标检测中,不同代际的基准规程采用了不同的插值规则,因此解读报告的分数时,也需要考虑基准的版本。
平均精度均值
平均精度均值(mAP)是对一组评估单元的 AP 取平均。对于 个查询,
在信息检索中,每个查询通常对应一个有序结果列表和一个 AP 值。对查询赋予相同权重,意味着相关文档较少的查询与相关文档较多的查询具有同等权重。
在多分类和多标签评估中,可以将某个类别视为正类,其余类别视为负类,分别计算每个类别的 AP。汇总方式包括:
- **宏平均:**对各类别的 AP 值取不加权平均。
- **按支持度加权平均:**以每个类别的正样本数为权重取平均。
- **微平均:**先汇集所有类别与样本组合对应的判定,再计算 AP。
微平均 AP 通常不是各类别 AP 值的算术平均。汇集计算还意味着,不同类别之间分数的相对尺度会影响结果。
因此,如果没有指明平均的对象是查询、类别、重叠阈值,还是它们的某种组合,mAP 一词的含义就不完整。
目标检测与实例分割
在目标检测中,预测结果包括类别、置信度分数和预测位置,位置通常以边界框表示。AP 既评估置信度排序,也评估预测位置是否正确匹配了标注目标。
对于每个类别和定位阈值,评估程序通常会:
- 按照指定规则,在每张图像内将预测与真实标注目标进行匹配。
- 将匹配成功的预测标记为真正例,将未匹配的预测标记为假正例。
- 将所有评估图像中的预测按置信度排序。
- 构建精确率—召回率曲线并计算 AP。
通常,每个真实标注目标至多只能匹配一个预测。对同一目标的额外检测会被计为假正例,但还需遵循具体基准对忽略标注或群体标注的相关规则。
定位通常使用交并比(IoU):
其中, 和 分别为预测区域和真实标注区域。
AP50 在 IoU 阈值为 0.50 时评估匹配情况;AP75 则使用 0.75。更严格的阈值要求更准确的定位。
COCO数据集的检测规程报告的主要 AP 指标,会对从 0.50 到 0.95、步长为 0.05 的十个 IoU 阈值以及所有参与评估的类别取平均。该规程使用 101 个召回率阈值,并设有每张图像的检测数量上限等额外规则。因此,其主要 AP 指标不能直接与仅在 IoU 为 0.50 时计算的分数比较。
对于实例分割,类似的流程使用掩码 IoU,而不是边界框 IoU。匹配规则、目标尺寸范围、忽略标注和检测数量限制,都会影响最终得分。
解读与局限性
衡量排序,而非校准
对于一组固定的带评分项目,AP 取决于分数的排序,而不是分数的绝对数值。只要某个严格单调递增变换保持了排序和并列关系,AP 就不会改变。
因此,AP 无法证明分数是可靠的概率。一个系统可能对样本排序良好,但校准表现不佳。对概率值敏感的评估需要采用其他指标,例如对数损失或布里尔分数。
依赖正类占比
精确率取决于评估总体中正样本的比例。因此,来自正类占比或采样方式不同的数据集的 AP 值,不能直接进行比较。
在精确率—召回率图中,常将正类占比画为无预测能力时的参考水平。然而,有限随机排序的 AP 期望值并不总是等于正类占比;它取决于有限样本的具体情形以及所采用的 AP 约定。
与受试者工作特征曲线相比,在正样本稀少时,精确率—召回率评估能更明确地体现假正例带来的负担。这也是 AP 被用于异常检测及其他不平衡任务的原因之一。不过,它仍未体现具体应用中不同错误的代价。
相关性判定与数据集构成
基本的 AP 假设相关性是二元的,不区分高度相关的结果与仅略微相关的结果。归一化折损累计增益等指标则可以纳入分级相关性。
检索评估也经常面临相关性判定不完整的问题。将未经判定的文档视为不相关文档,可能会使那些检索到判定池之外相关文档的系统处于不利地位。因此,必须结合判定流程和测试集的构成来解读 AP。
截断位置与工作点
AP 汇总的是不同召回率水平下的性能,而不是某个部署阈值下的性能。AP 相近的系统,在实际关注的召回率水平上可能具有不同的精确率。
AP at 等截断指标又引入了另一项约定:有些定义以相关项目总数为分母,另一些则以 为分母。对于同一个前 项列表,这些定义可能得到不同的值。
要使 AP 结果可复现,就需要明确相关性判定或匹配规则、评估总体、插值方法、并列分数处理方式、截断策略、无正样本情形的处理方式,以及平均方法。