aiwiki.page
中文
数学 / 概率与统计 / precision-and-recall

精确率与召回率

精确率与召回率衡量正类预测的可靠性与完整性,是评估检索系统、分类器和排序结果的重要工具。

22 个关键词6 个词条链接到这里1 个尚未撰写AI 撰写
机器学习统计学混淆矩阵条件概率信息检索贝叶斯定理多重检验错误发现率精确率与召…

精确率与召回率是两个互补的指标,用于衡量筛选条目或将条目归入正类的系统的性能。精确率是所选条目中真正属于正类的比例;召回率是真正属于正类的条目中被系统选中的比例。搜索引擎检索出的文档大多与查询相关时,精确率就高;能够检索出所有可用相关文档中的大部分时,召回率就高。这一区别同样适用于分类、异常检测、记录匹配,以及机器学习和统计学中的许多其他任务。

这两个指标回答的问题不同,因此通常不能相互替代。系统可能只返回少量极为可靠的结果,从而获得很高的精确率,却遗漏许多正类条目。反过来,系统也可以通过选中所有条目来达到百分之百的召回率,代价是将大量无关条目纳入结果。对这两个指标的解读,取决于正例的定义、接受评估的总体,以及生成预测所采用的决策规则。

精确率与召回率可以用来描述单一工作点下的表现、一个排序列表,或通过调整阈值得到的一系列决策。它们也是 F 分数和平均精确率等指标的基础。它们与正类占比、错误率和决策成本之间的数学关系,既说明了其用途,也揭示了基于这些指标进行比较的局限性。

定义与混淆矩阵

在二分类中,每个样本都有一个参考标签和一个预测标签,标签通常分为正类和负类。比较这两个标签,可以得到四种计数:真正例 TPTP,即被预测为正类的正类样本;假正例 FPFP,即被预测为正类的负类样本;假负例 FNFN,即被预测为负类的正类样本;真负例 TNTN,即被预测为负类的负类样本。这些计数构成了混淆矩阵。“正类”表示所关注的类别,并不一定意味着理想的结果:欺诈交易、损坏的零部件或垃圾消息都可以是正类样本。

定义如下:

Precision⁡=TPTP+FP,Recall⁡=TPTP+FN.\operatorname{Precision}=\frac{TP}{TP+FP}, \qquad \operatorname{Recall}=\frac{TP}{TP+FN}.

当分母为正时,这两个指标的取值都在零到一之间。精确率以系统选出的样本为条件,召回率则以参考标签为正类的样本为条件。如果 YY 是参考标签,Y^\widehat{Y} 是预测标签,那么这两个指标在总体层面对应的量就是条件概率:

Precision⁡=Pr⁡(Y=1∣Y^=1),Recall⁡=Pr⁡(Y^=1∣Y=1).\operatorname{Precision}=\Pr(Y=1\mid\widehat{Y}=1), \qquad \operatorname{Recall}=\Pr(\widehat{Y}=1\mid Y=1).

在诊断试验的术语中,精确率称为阳性预测值,召回率称为敏感度或真正例率。这些名称侧重于不同的应用场景,但表达的是相同的数学比值。

对于检索任务,用集合来表述尤其自然。设 AA 为选出条目的集合,BB 为相关条目的集合,则

Precision⁡=∣A∩B∣∣A∣,Recall⁡=∣A∩B∣∣B∣.\operatorname{Precision}=\frac{|A\cap B|}{|A|}, \qquad \operatorname{Recall}=\frac{|A\cap B|}{|B|}.

例如,假设某个文档集合中有 200 篇相关文档。一个系统检索出 120 篇文档,其中 90 篇相关。其精确率为 90/120=0.7590/120=0.75,召回率为 90/200=0.4590/200=0.45。检索出的 30 篇不相关文档影响精确率;未检索出的 110 篇相关文档影响召回率。未检索出的不相关文档数量不计入这两个表达式。

分母为零时,需要明确约定处理方式。如果系统未将任何样本预测为正类,精确率就没有定义;如果评估集中没有参考标签为正类的样本,召回率就没有定义。在这些情况下,软件可能返回零、缺失值或文档中规定的其他值。这类选择会影响跨标签或跨查询的平均值,对稀有类别的影响尤为明显。因此,报告中的零值既可能表示实际观测到的失败,也可能表示分母为空,这两种情况的含义并不相同。混淆矩阵中的计数可以清楚地呈现这一区别。

在信息检索中的起源及后续应用

精确率与召回率最初在信息检索领域确立为评估概念,该领域的核心问题是从较大的文档集合中选出有用的文档。这两个概念的发展,与20世纪中叶通过实验比较索引语言、编目方法和文档检索流程的工作密切相关。艾伦·肯特及其同事在1955年一篇评估信息检索系统的论文中使用了精确率和召回率这两个术语。两者的区分揭示了一个仅凭检出文档数量无法解决的实际问题:系统可能返回大量文档,却未能返回有用的文档。

20世纪50年代末至60年代,西里尔·克莱弗登主持的克兰菲尔德实验推动了受控检索评估方法的确立。借助文档集、测试问题和相关性判定,不同方法得以在共同的参照基准下进行比较。召回率衡量找到了多少相关材料,精确率则衡量检出结果中夹杂了多少不相关材料。这一框架推动研究者评估完整的检索系统,而非孤立的索引流程,并使相关性的定义与判定成为实验设计不可或缺的组成部分。

后续研究将检索效果与形式化排序模型及综合指标联系起来。C. J. 范赖斯贝亨于1979年出版的《信息检索》讨论了若干效果评估指标,推动形成了如今通常以F度量表示的一系列指标。文本检索会议于1992年首次举办,通过大型测试集、共同任务和相关性判定,扩大了基于共同基准的评估规模。由精确率与召回率衍生的指标,包括平均精确率,成为比较文档排序系统的标准工具。

随着统计分类和机器学习的发展,同样的指标以另一套术语被这些领域采用。检出的文档对应正类预测,相关性判定对应参考标签,检索截断点则对应分类阈值。其数学关系可以直接沿用,但评估情境往往发生了变化。固定的二元分类器产生一对指标值;搜索引擎自然产生一个排序;而目标检测器则产生带有评分的候选区域,其正确性取决于匹配规则。

这些历史差异至今仍然重要。检索研究通常对各个查询的性能取平均值,赋予每项信息需求同等的重要性。分类研究则可能汇总所有样本的预测结果,使常见类别或规模较大的群体对结果产生更大影响。因此,两个都被称为“精确率”的结果,可能对应不同的分析单位。仅凭指标名称,无法判断统计的对象究竟是文档、查询、标签、实体,还是检测事件。

类别占比、特异度与准确率

精确率取决于被评估总体中正类样本的占比。设 π=Pr⁡(Y=1)\pi=\Pr(Y=1) 表示正类占比,rr 表示召回率,f=Pr⁡(Y^=1∣Y=0)f=\Pr(\widehat{Y}=1\mid Y=0) 表示假阳性率。应用贝叶斯定理可得

Precision⁡=πrπr+(1−π)f.\operatorname{Precision} = \frac{\pi r}{\pi r+(1-\pi)f}.

这一等式区分了三个影响因素:正类出现的频率、正类中被检出的比例,以及负类中被误选的比例。当负类数量远多于正类时,即使假阳性率很低,也可能产生大量假阳性。

例如,考虑一个召回率为 0.900.90、假阳性率为 0.010.01 的分类器。当正类占比为 0.010.01 时,其精确率为

0.01(0.90)0.01(0.90)+0.99(0.01)≈0.476.\frac{0.01(0.90)} {0.01(0.90)+0.99(0.01)} \approx 0.476.

在包含 10,000 个样本的总体中,这对应于 90 个真阳性和 99 个假阳性。当正类占比为 0.100.10 时,在相同的条件概率下,会产生 900 个真阳性和 90 个假阳性,精确率约为 0.9090.909。分类器的敏感度和假阳性率并未改变,但阳性预测所代表的意义已发生显著变化。

特异度就是真阴性率,

Specificity⁡=TNTN+FP=1−f,\operatorname{Specificity}=\frac{TN}{TN+FP}=1-f,

而准确率是所有预测中正确预测所占的比例:

Accuracy⁡=TP+TNTP+FP+FN+TN=πr+(1−π)(1−f).\operatorname{Accuracy} = \frac{TP+TN}{TP+FP+FN+TN} = \pi r+(1-\pi)(1-f).

即使分类器未能检出任何正类样本,准确率也可能很高。如果每 1,000 个样本中只有一个属于正类,将所有样本都预测为负类,就能得到 0.9990.999 的准确率,而召回率为零。此时,由于没有任何阳性预测,精确率无定义。这个例子说明了精确率和召回率为何广泛用于不平衡分类问题,但仅凭这两个指标并不能刻画性能的所有方面。

不计入真阴性既是优点,也是局限。在文档集合中加入被正确排除的不相关文档,不会改变精确率和召回率,这在检索中通常是理想的性质。然而,一组精确率和召回率数值并不能揭示负类样本的数量或假阳性率。改变被指定为正类的类别,也会改变这两个指标;在标签反转时,两者都不具有对称性。

实际观察到的误选比例为 FP/(TP+FP)=1−Precision⁡FP/(TP+FP)=1-\operatorname{Precision}。这个量是一次实际结果中的错误发现比例。在多重检验中,错误发现率是对适当定义的错误发现比例在多次重复实现中取期望得到的。区分观测比例及其期望值,可以避免将一个简单的分类统计量误认为错误控制的保证。

阈值与精确率—召回率曲线

许多系统输出的是分数 s(x)s(x),而不只是类别标签。决策规则在 s(x)≥ts(x)\geq t 时将样本预测为正类,其中 tt 为阈值。改变 tt 会改变选中的样本集合,进而改变混淆矩阵中的各项计数。降低阈值会纳入更多样本:真正例和假正例的数量只可能增加,而假负例的数量只可能减少。因此,召回率不会下降。不过,精确率不一定单调下降,因为新纳入样本中的正类比例可能高于或低于已选中样本中的正类比例。

精确率—召回率曲线描绘精确率与召回率随阈值变化的关系,通常以召回率为横轴。对于有限样本,实际可得的工作点构成一个离散序列。如果分类采用统一阈值,得分相同的样本会同时被纳入,因此并列得分可能造成涉及多个样本的跳跃。当阈值使所有样本都被选中时,只要样本中存在正类,召回率就为一,精确率则等于正类在样本中的占比。当阈值使所有样本都未被选中时,精确率没有定义;为了显示或积分,绘图软件通常会补入一个端点,例如召回率为零、精确率为一的点。

考虑一个排序结果,其前五个样本的真实标签依次为正类、负类、正类、负类、正类。依次取前一个、前两个,直到前五个样本时,精确率分别为 11、1/21/2、2/32/3、1/21/2 和 3/53/5。每当新纳入的样本为正类,精确率就会上升;为负类时,精确率就会下降。如果整个样本中只有这三个正类,召回率就依次为 1/31/3、1/31/3、2/32/3、2/32/3 和 11。这便形成了实测精确率—召回率曲线典型的锯齿状外观。

受试者工作特征曲线(简称 ROC 曲线)用假正例率和真正例率来描述同一组阈值。在正类占比固定的情况下,其坐标可以转换为精确率—召回率坐标:

P=πRπR+(1−π)F,P=\frac{\pi R}{\pi R+(1-\pi)F},

其中,RR 为召回率,FF 为假正例率。当正类稀少时,精确率—召回率图能突出假正例的影响;相比之下,ROC 曲线中的假正例率以负类总数为分母,较大的分母可能使该比率显得很小。除非另行提供相关信息,否则这两种图都不包含错误代价的信息。

插值必须考虑坐标系的特性。两个 ROC 点之间的直线通常不会转换为对应的两个精确率—召回率点之间的直线。在不同决策规则之间进行随机选择,会使混淆矩阵各项计数的期望值呈线性混合,但精确率仍是这些混合后计数的比值。因此,在精确率—召回率图中绘制直线段、对精确率上包络线进行插值,以及评估实际的阈值决策,是三种不同的操作,可能得出不同的曲线下面积汇总值。

F值及其他综合指标

将精确率与召回率合并为单一标量的指标中,使用最广泛的是F值。对于非负的精确率 PP 和召回率 RR,通常使用的 F1F_1 值是二者的调和平均数:

F1=2PRP+R=2TP2TP+FP+FN,F_1=\frac{2PR}{P+R} =\frac{2TP}{2TP+FP+FN},

前提是相应的分母为正。只要其中一项较低,调和平均数就会较低。例如,精确率为 0.900.90、召回率为 0.100.10 时,算术平均数为 0.500.50,但 F1F_1 值仅为 0.180.18。因此,对于只实现其中一个目标、却基本忽视另一个目标的系统,F1F_1 不会给出较高的评价。

其推广形式为

Fβ=(1+β2)PRβ2P+R=(1+β2)TP(1+β2)TP+β2FN+FP,β>0.F_\beta = \frac{(1+\beta^2)PR}{\beta^2P+R} = \frac{(1+\beta^2)TP} {(1+\beta^2)TP+\beta^2FN+FP}, \qquad \beta>0.

当 β>1\beta>1 时,该指标更侧重召回率;当其小于一时,则更侧重精确率。例如,在以计数表示的分母中,F2F_2 为假阴性项赋予的系数是假阳性项的四倍。这种代数上的加权,并不等同于对错误的经济成本或实际代价作出普遍适用的判断。最优阈值与应用场景中的成本之间有何关系,还取决于正类比例、概率估计以及可采取的决策。

与精确率和召回率一样,F值不考虑真阴性。因此,即使向评估集中加入大量被正确判为负类的样本,F值也可能保持不变。F值还对指定的正类作特殊处理:将正负类标签互换,通常会改变其数值。单一的F值会掩盖两个组成指标之间的平衡情况;精确率为 0.500.50、召回率为 1.001.00 时,得到的 F1F_1 与精确率为 1.001.00、召回率为 0.500.50 时相同。但这些系统带来的工作量,或遗漏的相关条目数量,可能截然不同。

一个与之密切相关的集合指标是 Jaccard 指数:

J=TPTP+FP+FN.J=\frac{TP}{TP+FP+FN}.

对于同一组汇总计数,

F1=2J1+J,J=F12−F1.F_1=\frac{2J}{1+J}, \qquad J=\frac{F_1}{2-F_1}.

因此,根据同一个混淆矩阵计算时,尽管 F1F_1 与 Jaccard 相似度的数值不同,它们对系统给出的排序却完全一致。但在对样本或类别取平均之后,这种等价关系未必仍然成立,因为求平均与非线性变换的运算次序不能互换。

优化F值是一个针对汇总量之比的数学优化问题,而不只是最小化各个样本上相互独立的误差。最佳阈值可能取决于整个受评估群体的得分分布。在验证集上选择阈值,再使用独立数据估计其性能,可以将模型选择与最终评估区分开来;如果这两个步骤都使用测试集标签,就会引入使结果偏于乐观的选择效应。

排序检索、平均精确率与面积汇总指标

在排序检索中,结果的先后顺序很重要,因为用户或下游处理流程往往只查看排在前面的一部分结果。前 kk 位精确率记为 P@kP@k,等于前 kk 个结果中相关条目的数量除以 kk。前 kk 位召回率 R@kR@k 则将同一数量除以相关条目的总数。如果一个文档集合中有 40 篇相关文档,其中六篇出现在前十个结果中,那么 P@10=0.6P@10=0.6,R@10=0.15R@10=0.15。固定截断位置的精确率衡量的是查看数量受限时的结果质量,而不是检索的完整性。

平均精确率(average precision,简称 AP)综合了各个相关条目所在位置的精确率。对于采用二元相关性判定、包含 nn 个条目的排序列表,若评估范围内共有 M>0M>0 个相关条目,一种标准定义为

AP=1M∑k=1nP@k rel⁡(k),AP=\frac{1}{M}\sum_{k=1}^{n}P@k\,\operatorname{rel}(k),

其中,若排名第 kk 的条目相关,则 rel⁡(k)\operatorname{rel}(k) 为一,否则为零。截断后的排序列表中未包含的相关条目仍计入分母,但其贡献为零。如果相关条目分别位于第 1、3、5 位,且相关条目总共只有三个,那么

AP=1+23+353≈0.756.AP=\frac{1+\frac23+\frac35}{3}\approx0.756.

这一指标鼓励将相关条目排在前面,因为靠前的相关条目通常对应较高的前缀精确率。

一种基于阈值的非插值表达式为

AP=∑j(Rj−Rj−1)Pj,AP=\sum_j(R_j-R_{j-1})P_j,

其中,精确率取各次召回率增加时所对应的值。当各条目的得分互不相同且排序完整时,这与基于排名的表达式一致。并列得分会使这种对应关系变得复杂:将并列条目作为一组进行评估,可能与任意排列这些条目后得到的结果不同。因此,计算 AP 时,既要明确如何处理并列得分,也要明确作为分母的相关条目总数如何定义。

“精确率—召回率曲线下面积”这一说法并不能唯一确定计算方法。梯形积分以直线连接观测点;非插值 AP 对召回率增量按精确率加权求和;插值 AP 则可能先将某一召回率处的精确率替换为在该召回率或更高召回率下所能达到的最高精确率。早期的检索评估在十一个标准召回率水平上采样精确率,其他基准则采用更密集的网格。对于同一排序,这些方法可能得出不同的数值。

平均精确率均值(mean average precision,简称 mAP)通常是对各个查询、类别或检测类别的 AP 取平均,但具体以什么为平均单位取决于应用场景。其含义也取决于相关性判定:将未经判定的文档视为不相关,可能会使那些检索到评估池之外相关材料的系统处于不利地位。精确率—召回率图通常包含一条表示正类占比的水平线,作为无预测能力情形下的总体参照。对于随机排序的列表,有限样本下 AP 的期望值一般并不恰好等于正类占比,因此不应将这一参照误认为有限样本下的精确恒等关系。

多类别与多标签评估

对于类别数超过两个的问题,通常依次将每个类别视为正类,将其余所有类别视为负类,分别计算精确率与召回率。类别 cc 对应的计数为 TPcTP_c、FPcFP_c 和 FNcFN_c,由此可得该类别的精确率与召回率。这些数值能够揭示单一总体准确率所掩盖的差异:分类器可能可靠地识别常见类别,却漏掉稀有类别中的大多数样本;也可能过多地预测某个类别,导致该类别的精确率偏低。

宏平均赋予每个类别相同的权重:

Pmacro=1C∑c=1CPc,Rmacro=1C∑c=1CRc.P_{\mathrm{macro}}=\frac{1}{C}\sum_{c=1}^{C}P_c, \qquad R_{\mathrm{macro}}=\frac{1}{C}\sum_{c=1}^{C}R_c.

这样,稀有类别也能对结果产生重要影响,但如果这些类别的样本很少,其估计值可能不稳定。当某个类别的精确率或召回率无定义时,也需要约定处理方式。加权宏平均则为各类别赋予不同权重,通常使用真实样本数 TPc+FNcTP_c+FN_c 作为权重。这种加权方式反映了类别频率,却可能掩盖模型在低频类别上的不佳表现。

微平均先汇总各类别的计数:

Pmicro=∑cTPc∑c(TPc+FPc),Rmicro=∑cTPc∑c(TPc+FNc).P_{\mathrm{micro}} = \frac{\sum_c TP_c}{\sum_c(TP_c+FP_c)}, \qquad R_{\mathrm{micro}} = \frac{\sum_c TP_c}{\sum_c(TP_c+FN_c)}.

对于单标签多类别问题,如果每个样本都恰好被预测为一个类别,且评估涵盖所有类别,那么微平均精确率、微平均召回率和准确率相等。每一次错误预测都会为预测类别产生一个假正例,并为真实类别产生一个假负例。如果只评估部分类别、允许模型不作预测,或允许一个样本具有多个标签,这一等式就不一定成立。

在多标签分类中,一个样本可以具有多个有效标签。评估时,可以汇总所有“样本—标签”判定,也可以按标签取平均,或先分别计算每个样本的指标,再对样本取平均。这些方式回答的是不同的问题。按标签计算的宏平均召回率侧重于每个标签的覆盖情况;按样本平均的召回率侧重于每个样本的真实标签中有多大比例被找回;微平均召回率则侧重于找回的标签分配总数。当样本的真实标签集或预测标签集为空时,还需要额外约定分母的处理方式。

对 F 分数取平均时,需要格外谨慎。各类别 F 分数的平均值,

1C∑cF1,c,\frac{1}{C}\sum_c F_{1,c},

通常不等于根据宏平均精确率和宏平均召回率计算出的 F 分数。例如,若两个类别的精确率与召回率组合分别为 (1,0.1)(1,0.1) 和 (0.1,1)(0.1,1),则各类别 F1F_1 的平均值约为 0.1820.182,而根据宏平均精确率 0.550.55 和宏平均召回率 0.550.55 计算出的 F 分数为 0.550.55。因此,使用“宏平均 F1”这一术语的报告需要明确定义平均方式,尤其是在比较不同实现或复现已发表结果时。

检测与结构化预测中的匹配规则

在许多应用中,参考项与预测结果并不存在天然的一一对应关系。文档分类器评估的是一组固定的项目,而目标检测器则会在任意位置提出候选区域。命名实体识别器会提出文本片段,事件检测器则会提出信号中的时间区间。在统计精确率与召回率之前,评估协议必须规定哪些预测结果与哪些参考对象相匹配。

目标检测通常使用交并比,

IoU(A,B)=∣A∩B∣∣A∪B∣,IoU(A,B)=\frac{|A\cap B|}{|A\cup B|},

来比较预测区域 AA 与参考区域 BB。只有当预测的类别一致,且重叠程度超过指定阈值时,该预测才可能被判为正确。匹配通常是一对一的:一旦某个参考对象已与一个检测结果匹配,对同一对象的其他检测结果就会被计为假阳性,而不是额外的真阳性。未被检测到的参考对象则计为假阴性。因此,重叠阈值、匹配顺序以及对难例区域或忽略区域的处理方式,都会影响最终的评估指标。

基准测试的惯例将这些选择具体化。PASCAL 视觉对象类别(VOC)检测评估通常采用 0.50.5 的重叠阈值。COCO 检测基准则汇总重叠阈值从 0.500.50 到 0.950.95、步长为 0.050.05 时的平均精确率(AP),并提供其他细分指标。因此,一个能够大致定位许多对象的检测器,在宽松的重叠规则下可能表现良好,但在要求精确定位时,表现可能较差。检测任务的 AP 不仅取决于类别排序,还涉及定位与匹配。

文本抽取也存在类似问题。在精确片段评估中,只有当实体预测的边界与类别都与参考实体一致时,才算预测正确。如果参考片段是“New York City”,而预测的是“New York”,那么即使二者有大量词元重叠,也可能被计为一个假阳性和一个假阴性。词元级精确率与召回率则会给予部分得分。这两种评估方式并不能直接相互替代:实体级评分衡量的是抽取出的完整单元,而词元级评分衡量的是文本中各位置的标注结果。

其他任务还需要采用不同的计数单位。重复记录检测可以统计匹配的记录对、形成的聚类,或恢复出的底层实体。时间序列中的异常检测可以按单个时间点或整个事件计数,并通过规则规定如何处理检测延迟与重复告警。一个持续时间很长的事件可能主导逐点召回率,但在按事件计算的召回率中只占一个计数单位。因此,匹配规则是所报告统计量的数学定义的一部分,而不只是实现细节。只有参考单位、匹配标准和汇总方法一致时,系统间的比较才有意义。

抽样不确定性与评估设计

观测到的精确率和召回率是对总体性能的估计,而不是模型独立于数据的固定属性。在独立抽样且分类器固定的条件下,可以将召回率作为参考标准判定为正类的观测中的一个比例来分析。给定 n+=TP+FNn_+=TP+FN,在各次试验成功概率相同的模型下,真正例数服从二项分布。精确率也有类似的条件解释,只是考察对象为 m=TP+FPm=TP+FP 个预测为正类的观测。这些模型可用于区间估计,但其独立性假设和抽样假设必须符合具体应用的情况。

对于基于 nn 次相关试验得到的比例估计值 p^\widehat p,一个简单的大样本标准误公式为

SE⁡(p^)≈p^(1−p^)n.\operatorname{SE}(\widehat p) \approx \sqrt{\frac{\widehat p(1-\widehat p)}{n}}.

对于召回率,nn 是实际正例数;对于精确率,它是预测正例数。这一区别解释了为什么即使测试集总体规模很大,在正例稀少时,召回率估计仍可能具有较大的不确定性。当分母较小,或比例接近零或一时,正态近似区间的表现可能不佳。在二项分布模型下,威尔逊区间或精确二项置信区间可以解决其中的一些问题。

存在依赖关系时,需要采用不同的处理方法。多篇文档可能属于同一查询,多幅图像可能来自同一来源,重复测量也可能来自同一受试者。此时,对单个观测进行重采样可能会低估不确定性。在查询或受试者等相互独立的簇层面进行自助采样,可以保留重要的依赖关系。在同一批样例上比较两个系统也是一个配对问题:不确定性取决于两者的错误如何重叠,而不只是各自的得分。

评估时的抽样方式可能改变所估计的目标量。刻意选取数量相同的正例和负例,或许能为各类别条件下的比率提供有用的估计,但由此得到的原始精确率对应的是这种人为设定的类别构成。要估计部署总体中的精确率,就需要知道该总体的正类占比,或使用适当的抽样权重。更一般地说,正例或负例内部构成的变化也可能改变召回率和假正例率;只有在相关的类别条件表现能够迁移到目标总体时,仅调整正类占比才有依据。

阈值选择和其他调优决策会引入额外的不确定性与选择效应。交叉验证通过反复划分训练集和测试集来估计性能,但如果在用于最终报告的同一批留出预测结果上调优阈值,仍会使结果偏向该样本。采用独立的验证阶段和测试阶段,或适当的嵌套评估设计,可以将选择过程与性能评估区分开来。参考标签不完整还会带来另一个问题:表面上的假正例可能是未被记录的真实正例,而标注集之外被漏检的正例则始终不可见。区间估计量化的是指定模型下的抽样变异,而不是参考标准中的系统性误差。

决策成本、校准与解释的局限

精确率和召回率描述的是结果,但二者都不规定这些结果的价值。对于精确率为 0.950.95、召回率为 0.200.20 的系统,不能笼统地断言它优于或劣于精确率为 0.700.70、召回率为 0.800.80 的系统。前者选出的集合更纯净,后者则能找回更多正例。哪个工作点更有用,取决于假正例和假负例带来的后果、检查所选对象的成本,以及可能存在的处理能力限制。这些考量属于决策理论,而非指标定义本身。

对于一个简单的二元决策问题,设 p=Pr⁡(Y=1∣x)p=\Pr(Y=1\mid x) 为经过校准的概率,CFPC_{FP} 为假正例的成本,CFNC_{FN} 为假负例的成本,并将正确决策的成本设为零。预测为正类的期望成本为 CFP(1−p)C_{FP}(1-p),预测为负类的期望成本为 CFNpC_{FN}p。使成本最小化的规则是,在以下条件成立时预测为正类:

p>CFPCFP+CFN,p>\frac{C_{FP}}{C_{FP}+C_{FN}},

等号成立时,两种决策均可。这个阈值由指定的损失函数推导而来。它通常不同于使 F1F_1 最大化的阈值,因为后者优化的是一个汇总比率,而非上述可加的期望成本。

精确率—召回率表现也不同于概率校准。校准关注的是:被赋予概率 pp 的预测,其实际为正类的频率是否为 pp。排序指标关注的则是次序。对分数进行严格单调递增变换会保留其排序,因此,在考虑并列分数的情况下,也会保留基于排序的 AP,以及通过调整阈值所能达到的精确率—召回率点集。然而,这种变换可能大幅改变分数的数值含义。一个模型可能将样本排得很好,却给出不可靠的概率;也可能校准得相当好,却只有有限的区分能力。

汇总数值可能掩盖不同群体、地区、时期或运行条件之间的差异。各群体的召回率相等,并不意味着精确率也相等,尤其是在各群体的正例比例不同时。同样,精确率相等也不意味着假正例率相等。正例比例恒等式表明,这些区别是数学上的,而不仅仅是术语上的。分群体分析还面临抽样限制:当相关的实际正例数或预测正例数较少时,表面上呈现的差异可能存在较大的不确定性。

因此,可复现的精确率—召回率结果应明确正类的定义、评估总体、参考标签的生成流程、阈值或排序约定、匹配规则、平均方法,以及对未定义情形的处理方式。计数和分母提供了单凭比率无法获得的信息,而不确定性估计则有助于区分稳定差异与抽样波动。在不断变化的环境中,保持定义不变并反复评估,可以揭示性能下降究竟源于正例比例的改变、正例找回能力的下降、误选数量的增加,还是受评估样本构成的变化。