精确率–召回率曲线以图形方式展示评分系统的决策阈值变化时,精确率与召回率之间的权衡关系。通常以召回率为横轴、精确率为纵轴。该曲线用于信息检索和机器学习,描述系统在限制假阳性预测的同时,找出指定正类成员的能力。当正例较少时,这条曲线尤其有参考价值,但对它的解读在很大程度上取决于评估总体中的正类占比。
定义与构建
考虑一个二分类问题,其中每个样本都有真实标签 和得分 ,得分越高,表示支持其属于正类的证据越强。在阈值为 时,系统将满足 的样本预测为正类。
由此得到的计数可整理为混淆矩阵:
- 真阳性,:被预测为正类的正例。
- 假阳性,:被预测为正类的负例。
- 假阴性,:被预测为负类的正例。
- 真阴性,:被预测为负类的负例。
精确率和召回率分别为
精确率衡量正类预测中预测正确的比例。召回率衡量实际正例中被检出的比例。精确率也称为阳性预测值;召回率也称为敏感度或真阳性率。
精确率–召回率曲线由改变 所得到的工作点
组成。对于有限数据,只有使预测集合发生变化的阈值才会产生不同的工作点。
构建经验曲线时,可以先按得分从高到低排列样本,再逐步将其纳入预测正类集合。若存在相同得分,按照通常的得分阈值规则,所有得分相同的样本会同时进入该集合。若将同分样本逐个区分处理,则可能产生一些无法通过对原始得分设置阈值来实现的中间点。
得分不必是概率。对得分进行任何严格递增变换,都会保留其排序和同分关系,因此也会保留这条曲线。所以,精确率–召回率曲线评估的是排序表现,而非预测概率数值的准确性。
形状、端点与解读
降低阈值会扩大预测正类集合,因此召回率不可能下降。但精确率既可能上升,也可能下降:
- 加入正例可能提高精确率。
- 加入负例会降低精确率,而不会提高召回率。
- 加入同时包含两类样本的同分组,可能提高或降低精确率。
因此,经验精确率–召回率曲线不一定平滑,也不一定单调递减。
如果系统将所有正例都排在所有负例之前,那么在检出全部正例的整个过程中,精确率始终为 。其曲线会先到达右上角 ,随后检出的负例才会使精确率在召回率保持为 的情况下下降。
当所有样本都被预测为正类时,召回率为 ,精确率等于正类占比,
其中, 和 分别为正例与负例的数量。
如果没有任何样本被预测为正类,精确率的分母为零,因此没有定义。绘图软件通常会按惯例添加点 ,作为图形的起点。这个点只是一种约定,并非对空预测集合的精确率所作的经验估计。
如果评估集中没有正例,召回率就没有定义,曲线及其面积的通常解释也不再适用。不同软件包对此可能采用不同的处理方式。
基准表现
对于与真实标签统计独立的得分,只要某一阈值下预测正类总体非空,总体精确率就等于 。因此,通常以正类占比处的水平线作为无预测能力的参考基线。
这是针对总体的陈述,并不意味着有限样本的随机排序会产生完全水平的曲线。经验曲线会有波动,而且有限样本平均精确率的期望通常并不恰好等于正类占比。
在给定召回率处,位置更高的曲线意味着系统能以更少的假阳性检出相同比例的正例。不过,曲线可能相交,因此某个模型可能在低召回率时更好,而另一个模型在高召回率时更好。
与ROC曲线及类别不平衡的关系
受试者工作特征曲线,即ROC曲线,以假阳性率为横轴、真阳性率为纵轴:
ROC曲线和精确率–召回率曲线都由随阈值变化的预测结果生成,但它们侧重于表现的不同方面。召回率与ROC中的真阳性率是同一个量。精确率则将该比率与假阳性率、类别占比结合起来:
前提是分母为正。这个关系可由贝叶斯定理推导得出。
例如,假设某系统的真阳性率为 ,假阳性率为 。当正类占比为 时,其精确率为
因此,尽管其假阳性率看似很小,正类预测中正确的仍不到一半。
如果给定类别下的条件得分分布保持不变,改变正类占比不会改变总体ROC曲线,却会改变精确率–召回率曲线。这使精确率–召回率分析适用于正例稀少的任务,但也意味着,对于正类占比不同的总体,若不考虑这种差异,就不能直接比较其曲线。
精确率–召回率分析并不总是优于ROC分析。它是否适用,取决于将哪个类别指定为正类,以及关注哪些错误。由于精确率和召回率不计入真阴性,它们不能直接衡量系统识别负类的能力。交换正类和负类标签后,通常会得到不同的曲线。
曲线下面积与平均精确率
人们常将一条曲线概括为一个标量,但具体做法存在多种约定。PR AUC指精确率–召回率曲线下面积;如果不明确插值和积分规则,这个术语的含义就不完整。
梯形面积
对于按召回率递增顺序排列的点,一种常见计算方式是用直线连接相邻点,再应用梯形法则:
它衡量的是分段线性图形下方的面积。然而,在精确率–召回率空间中进行直线插值,通常并不能表示混合分类规则所产生的工作点。精确率是一个比值,底层计数的线性变化不一定会使精确率也发生线性变化。
平均精确率
平均精确率通常缩写为 AP,常用计算式为
其中,按得分从高到低的顺序遍历阈值, 是相应的召回率增加之后的精确率。该方法用每一步新增的召回率作为权重,对各步观测到的精确率加权求和。它是一种阶梯式汇总指标,而非梯形面积。
当各样本得分互不相同且 时,AP也可等价地写成
其中, 是排在第 位的样本的二元标签, 是前 个样本中的精确率。在这种形式下,AP就是正例所在各排名位置处的精确率的平均值。
不同评估领域的术语用法有所差异。一些信息检索和目标检测评估协议会先用插值得到的上包络替代观测精确率,
然后在指定的召回率水平上,对其取值求平均或积分。这类插值指标可能与非插值AP及梯形PR AUC均不相同。
数值示例
假设有四个样本,按得分从高到低排列后的标签为 。其中有两个正例。
| 检出数量 | 真阳性数 | 假阳性数 | 召回率 | 精确率 |
|---|---|---|---|---|
| 1 | 1 | 0 | ||
| 2 | 1 | 1 | ||
| 3 | 2 | 1 | ||
| 4 | 2 | 2 |
非插值AP为
若加入惯例起点 ,并用直线连接表中各阈值对应的点,得到的梯形面积则为 。这种差异来自面积计算的约定,而不是预测结果不同。
阈值选择与相关指标
曲线描述了可选的工作点,却不能决定哪个阈值合适。阈值选择取决于错误代价、处理能力约束或要求达到的性能水平。例如,可以在满足最低精确率要求的前提下最大化召回率,或在满足最低召回率要求的前提下最大化精确率。
F值将单个工作点上的精确率与召回率结合起来:
当 时,它是两者的调和平均数。当 时,相对更重视召回率;当其小于 时,则更重视精确率。在某个数据集上使F值最大的阈值,在正类占比或错误代价结构不同时,不一定仍能使其最大。
因此,选择工作点是一个决策理论问题,与衡量排序质量有所不同。AP和PR AUC都不能直接评估概率校准程度。两个系统可能具有完全相同的排序和曲线,却给出差异很大的概率值。
评估实践与局限性
精确率–召回率曲线起源于对排序检索系统的评估,如今也用于分类、推荐、异常检测和目标检测。对它的解读取决于评估协议。
需要注意的重要事项包括:
- 独立评估。 在训练数据上测得的表现可能过于乐观。在最终测试集上选择阈值或模型,也会引入评估偏差。
- 抽样不确定性。 曲线和AP估计值会随样本而变化,尤其是在正例稀少时。可以使用自助采样估计不确定性,但重采样方案必须考虑聚类或其他依赖关系。
- 交叉验证结果的汇总。 汇集各折的折外预测得分、对各折AP值求平均,以及对曲线求平均,是不同的操作,结果未必一致。不同拟合模型的得分尺度不一致,也可能影响汇集后的排序。
- 多分类与多标签任务。 通常会逐个类别构建曲线。宏平均赋予各类别相同的权重,而微平均则汇集所有类别–样本判定,使观测数或正例数更多的类别具有更大影响。
- 真实标签质量。 正类标签缺失或错误,可能同时扭曲精确率和召回率。在检索任务中,如果相关性判定不完整,就必须明确如何处理未经判定的条目。
- 任务特定的匹配规则。 在目标检测中,只有满足指定的匹配和重叠规则,预测目标才计为真阳性。改变这些规则,就会改变最终曲线。
- 分布变化。 在一个总体上测得的曲线,本身并不能证明系统在另一个总体上的表现。正类占比、类别构成或得分分布的变化,都可能改变实际应用中的精确率与召回率。
一份可复现的报告应明确说明正类的定义、评估总体及其正类占比、同分与未定义值的处理方式、平均方法,以及所报告的任何面积指标的确切定义。