分类准确率是分类器的预测标签与参考标签一致的样本所占的比例。它是机器学习和统计学中广泛用于评估分类系统的指标。标准的准确率对每个评估样本赋予相同权重,并将所有错误预测视为同等程度的错误。准确率简单直观,易于理解,但它可能掩盖系统在少数类别上的不佳表现、不同错误的代价差异,以及评估数据与系统实际运行所面对的总体之间的差异。
定义
对于包含 个样本的数据集,设 为样本 的参考标签, 为其预测标签。分类准确率为
其中, 是示性函数,条件成立时取值为 1,否则为 0。
准确率介于 0 和 1 之间,通常以百分比表示。一个分类器若在 100 个样本中正确标注了 87 个,其准确率就是 ,即 。相应的分类错误率为
这一定义直接适用于二分类和多分类任务,在这些任务中,每个样本恰有一个参考标签,也恰好得到一个预测标签。对于每个样本可以有多个标签的任务,则需要明确规定怎样的预测才算正确。
总体准确率
对于一个固定的分类器 ,总体准确率是它对随机抽取的输入与标签对 作出正确预测的概率:
观测到的测试准确率,是对测试数据所代表总体的这一数值的估计。因此,准确率并不只是模型本身的属性:它还取决于数据分布、参考标签,以及将模型输出转换为预测结果所采用的规则。
用混淆矩阵表示
对于二分类,可以用混淆矩阵汇总预测结果:
| 参考标签 | 预测为正类 | 预测为负类 |
|---|---|---|
| 正类 | 真正例() | 假负例() |
| 负类 | 假正例() | 真负例() |
准确率为
与精确率与召回率不同,准确率同时计入正确识别的正类样本和正确识别的负类样本。在统计错误时,它不区分假正例和假负例。
对于多分类混淆矩阵 ,若行表示参考类别,列表示预测类别,则
因此,准确率就是对角线元素之和除以评估样本总数。
统计解释与不确定性
每次预测是否正确,可以用以下变量表示:
准确率就是这些变量的样本均值。如果使用从同一分布中独立抽取的样本来评估一个固定分类器,那么每个 都服从成功概率为 的伯努利分布。正确预测的数量服从二项分布:
在这些假设下,
一种常用的标准误估计为
置信区间用于表达估计值周围的抽样不确定性。当样本量较小或准确率接近 0 或 1 时,正态近似区间的表现可能较差;此时可选用威尔逊区间或精确二项区间。
这些公式并不能自动适用于相互依赖的观测,例如对同一个人的重复测量,或视频中的相邻帧。它们也没有考虑使用不同数据集训练模型所带来的不确定性。测试集的抽样不确定性与不同训练运行之间的变异,是两种不同的变异来源。
评估设计
训练准确率与测试准确率
训练准确率是在拟合模型所使用的训练数据上测得的准确率。测试准确率是在既未用于拟合、也未用于选择模型的留出样本上测得的准确率。
训练准确率可能远高于模型在新数据上的准确率,对于灵活性较高的模型尤其如此。因此,仅凭较高的训练得分,并不能证明模型具有良好的泛化能力。
如果测试集结果反复影响模型选择、特征选择或其他设计决策,那么这个测试集也就不再能提供不受干扰的最终评估,因为测试集中的信息已经进入了开发过程。
交叉验证通过反复将数据划分为拟合子集和评估子集来估计性能。当交叉验证还被用于调节模型时,可通过单独的测试集或嵌套评估,将模型选择与最终评估区分开来。只有各折样本量相等时,各折准确率的非加权均值才等于合并所有样本后计算的正确比例;否则,合并计算对应的是按各折样本量加权的均值。
比较分类器
准确率的差异只有在任务和评估方案相同的情况下才具有可解释性。相关条件包括类别定义、测试总体的构成、标签质量以及预处理方式。
在相同样本上测试两个分类器时,它们的结果是配对的。准确率差异的不确定性取决于两个分类器在哪些样本上的预测存在分歧,而不只是分别考虑两个准确率数值。适当的统计假设检验和配对重采样方法可以将这种结构纳入考虑。
类别不平衡与基线性能
准确率按照各类别在评估总体中所占的比例,为各类别赋予权重。对于类别 ,有
因此,准确率是各类别召回率按类别占比加权得到的平均值。
假设 1,000 个样本中有 990 个负类样本和 10 个正类样本。始终预测为负类的分类器可以达到 的准确率,却无法识别出任何正类样本。这个得分正确描述了其总体预测正确的比例,却不能反映它在检测正类方面的实用性。
一种常见的基线是多数类分类器,它始终预测样本最多的类别。其准确率就是该类别的占比。随机猜测的准确率,在二分类任务中不一定是 ,在 分类任务中也不一定是 ;它取决于猜测规则。例如,如果预测与真实标签相互独立,且预测采用的类别概率为 ,那么期望准确率为
其中, 为类别 的真实占比。
平衡准确率对各类别的召回率赋予相同权重:
对于二分类,它就是敏感度与特异度的平均值。平衡准确率解决了类别权重不均的问题,但仍未体现具体应用中不同错误的代价。
决策规则与优化
许多分类器输出的是分数或概率,而不是标签。只有在决策规则将这些输出转换成标签后,才能计算准确率。
对于分数为 的二分类器,阈值规则可以写为
改变 会改变混淆矩阵,通常也会改变准确率。如果 是真实的条件概率 ,那么选择概率更高的类别,就能使总体准确率最大化。对于多分类,相应的规则为
在所有错误预测代价相同的条件下,这就是贝叶斯最优规则。这并不意味着准确率可以达到百分之百:给定输入后,标签仍可能存在不确定性,从而留下无法消除的错误。
准确率等于 1 减去平均零一损失,其中零一损失为
将这一损失函数视为许多模型参数的函数时,它是不连续的,通常不适合直接用于基于梯度的训练。因此,模型通常采用交叉熵等替代目标进行训练,而在评估时报告准确率。
如果不同错误会造成不同后果,最大化准确率不一定能使期望代价最小。决策理论则根据各项行动可能产生的结果及其概率和代价,对行动进行评估。
变体与相关指标
加权准确率
对于非负且总和大于零的样本权重 ,有
权重可以用于调整抽样差异,也可以用于有意提高某些样本的重要程度。加权准确率与非加权准确率回答的是不同问题,因此加权方案是该指标定义的一部分。
Top- 准确率
Top- 准确率将参考类别出现在模型排名最高的 个预测类别中的样本视为预测正确。当以排名最高的类别作为预测结果时,Top-1 准确率就是普通准确率。
在排序固定的情况下,Top- 准确率不会随着 的增加而降低。因此,采用不同 值的得分不能直接等同看待。
多标签准确率
在多标签分类中,每个样本可以有多个正确标签。完全匹配准确率也称为子集准确率,只有当样本的整个预测标签集合与参考标签集合完全一致时,才将该样本计为预测正确:
逐标签计算的正确比例则统计每个标签判断是否正确。这些指标可能相差很大:即使一个预测的其余标签全部正确,只要有一个标签错误,就无法满足完全匹配的要求。
其他性能指标
精确率、召回率和F值侧重于各类别性能的不同方面。基于概率的损失可以评估准确率所舍弃的信息:两个分类器可能给出完全相同的标签预测,因此具有相同的准确率,但它们赋予各类别的概率却可能大不相同。
准确率也不衡量概率校准程度,即预测概率与实际观测频率的一致性;它同样不能衡量在不同决策阈值下的排序质量。
解释上的局限
准确率取决于参考标签的正确性和一致性。类别定义模糊、标注错误以及标注规则的变化,都可能在分类器本身能力没有变化的情况下影响得分。
即使各类别内部的召回率保持不变,类别占比的变化也会改变准确率。输入的变化,或输入与标签之间关系的变化,也可能使过去的测试得分无法代表后续性能。
汇总得分可能掩盖不同子群体、环境或样本类型之间的差异。同样,大规模测试集也不能消除选择偏差:即使对缺乏代表性的样本作出了精确估计,仍然可能错误描述目标总体。
因此,为使报告结果具有可解释性,应说明评估样本量、类别构成、预测规则和不确定性;当类别差异或错误代价具有重要意义时,还应同时报告分类别指标或代价敏感指标。