混淆矩阵是一种表格,用于比较分类系统为各个观测样本分配的类别标签与这些样本的参考标签。矩阵中的元素记录了每个参考类别被预测为各个可能类别的次数。混淆矩阵用于统计学和机器学习,能够区分正确预测和各种具体的错误,而不是将性能简化为单一分数。参考标签也常被称为“实际标签”“真实标签”或“真值标签”,但这些标签本身也可能存在错误。
结构与数学定义
对于包含 个互斥类别的分类任务,混淆矩阵是一个 矩阵。一种常见约定是以行表示参考类别,以列表示预测类别:
其中, 是参与评估的观测样本数, 是参考标签, 是预测标签, 是示性函数。
按照这一约定:
- 表示类别 被正确预测的样本数。
- 当 时, 表示类别 被错误分配到类别 的样本数。
- 行和 是参考类别为 的样本数,通常称为该类别的支持数。
- 列和 是被预测为类别 的样本数。
- 所有元素之和为 。
一些出版物和软件包采用相反的行列安排。因此,解读表格前必须检查行列标签;仅凭“混淆矩阵”这一名称,无法确定其行列方向。
加权混淆矩阵将每次计数的单位权重替换为观测样本的权重 :
加权后的元素不一定是整数。这些权重可以表示抽样权重、暴露量,或其他明确定义的加权方案。
二分类
对于两个类别,通常将其中一个指定为正类,另一个指定为负类。这些名称用于标识所关注的结果;“正”不一定意味着理想或有利。
以行表示参考类别时,矩阵如下:
| 参考类别 | 预测为正类 | 预测为负类 |
|---|---|---|
| 正类 | 真正例, | 假负例, |
| 负类 | 假正例, | 真负例, |
假正例是被分类为正类的负类样本。假负例是被分类为负类的正类样本。当这两种错误的后果不同时,例如在垃圾邮件过滤、故障检测或文档检索中,这一区分十分重要。
在假设检验中,如果正类判定对应于拒绝一个表示负类的原假设,那么这些错误就与第一类与第二类错误相对应。这种对应关系取决于上述设定;分类术语本身并不规定任何假设检验。
由矩阵推导的指标
许多分类指标都是这四种计数之间的比值。
| 指标 | 公式 | 含义 |
|---|---|---|
| 准确率 | 所有预测中正确预测所占的比例 | |
| 错误率 | 所有预测中错误预测所占的比例 | |
| 精确率 | 预测为正类的样本中,参考标签为正类的比例 | |
| 召回率、灵敏度或真正例率 | 参考标签为正类的样本中,被检出的比例 | |
| 特异度或真负例率 | 参考标签为负类的样本中,被正确判为负类的比例 | |
| 假正例率 | 参考标签为负类的样本中,被误报为正类的比例 | |
| 假负例率 | 参考标签为正类的样本中,被漏检的比例 | |
| 阴性预测值 | 预测为负类的样本中,参考标签为负类的比例 |
精确率与召回率以不同的群体为条件:精确率关注预测为正类的样本,而召回率关注参考标签为正类的样本。两者不能相互决定。
F值中的 F1 分数是二者的调和平均数:
它不直接计入真负例。二分类的平衡准确率对两个参考类别的召回率赋予相同权重:
分母为零的指标在数学上没有定义。软件可能返回缺失值、发出警告,或用指定值代替。这些处理约定会影响比较结果,尤其是在某个类别没有出现或从未被预测到时。
计算示例
假设使用 1,000 个观测样本评估一个分类器:
| 参考类别 | 预测为正类 | 预测为负类 | 合计 |
|---|---|---|---|
| 正类 | 80 | 20 | 100 |
| 负类 | 90 | 810 | 900 |
| 合计 | 170 | 830 | 1,000 |
其准确率为
其召回率为 ,特异度为 ,精确率约为 。其 F1 分数约为 ,平衡准确率则为 。
一个始终预测为负类的系统,在这些样本上可以达到 90% 的准确率,但正类的召回率为零。这说明,当类别频数不均衡时,单凭准确率可能掩盖实际性能。两个系统中哪一个更合适,取决于分类的目的以及不同错误后果的相对严重程度。
计数、归一化与概率
原始矩阵保留了每项结果所依据的样本数量,而归一化矩阵则着重展示比例。
整体归一化
将每个元素除以 ,得到
这些值构成参考标签与预测标签的经验联合概率分布。整个矩阵中所有值的总和为一。
按行归一化
将每个元素除以其所在行的总和,得到
对于总和非零的行,这给出了以下条件概率的估计:
每个这样的行中,各元素之和为一。对角线元素是各类别的召回率,因此这种展示方式有助于比较不同参考类别被识别的可靠程度。
按列归一化
将各元素除以所在列的总和,得到
它估计的是
每个总和非零的列中,各元素之和为一,对角线元素是各类别的精确率。
按行归一化与按列归一化的矩阵回答的是不同问题。展示归一化结果时,应说明所用的分母,并尽可能保留各类别的样本数,以便区分基于少量样本的比例与基于数千个样本的比例。
多分类与多标签分类
多分类
在单标签多分类任务中,每个观测样本恰好属于 个类别中的一个,也恰好被预测为一个类别。非对角线元素揭示了哪些类别会被混淆为哪些其他类别。
还可以将每个类别 与其余所有类别进行对比评估:
这些量可用于计算各类别的精确率、召回率和 F 值。常见的汇总方法包括:
- **宏平均:**分别计算每个类别的指标,再取不加权的平均值。
- **按支持数加权平均:**以各类别参考样本的支持数为权重,对各类别的指标加权。
- **微平均:**先跨类别汇总相关计数,再计算指标。
在针对所有类别进行的普通单标签多分类评估中,微平均精确率、微平均召回率和微平均 F1 分数都等于准确率。宏平均召回率对每个类别赋予相同权重,通常称为多分类平衡准确率。
平均规则很重要。例如,宏平均 F1 通常指各类别 F1 分数的平均值,而不是宏平均精确率与宏平均召回率的调和平均数。
多标签分类
在多标签分类中,一个观测样本可以同时具有多个标签。单个 表格通常无法表示所有关于标签是否存在的判定。
一种常见方法是为每个标签分别构建一个二分类混淆矩阵,将该标签视为存在或不存在。这些矩阵支持计算各标签的指标及汇总指标,但不能完整体现标签间的依赖关系,也不能完整反映所预测的整个标签集合是否准确。
阈值与决策成本
包括逻辑回归在内的许多分类器,在分配标签之前会先输出分数或估计概率。在二分类中,可以用阈值 定义决策规则:
当分数和观测样本固定时,降低阈值不会使真正例数或假正例数减少。因此,混淆矩阵描述的是某一特定决策规则下的性能,而不是所有可能工作点的性能。受试者工作特征曲线和精确率—召回率曲线则概括了不同阈值下的性能。
可以通过损失函数引入错误成本。如果 表示参考类别为 时将其预测为类别 的成本,那么观测到的平均成本为
当正确决策的成本为零、每次错误决策的成本均为一时,上式就简化为错误率。即使准确率相近,不同的成本设定也可能使不同的分类器或阈值更有优势,这将混淆矩阵分析与决策理论联系起来。
应用与局限
混淆矩阵用于比较分类器、检查错误模式、识别难以被正确识别的类别,以及调查模型是否会系统性地将某个标签替换为另一个标签。其应用领域包括文本分类、图像识别、遥感、语音识别和工业检测。
解读混淆矩阵时,需要注意以下几项重要局限。
**类别频数会影响结果。**精确率取决于被评估总体中正类样本所占的比例。如果这一比例为 ,灵敏度为 ,假正例率为 ,那么根据贝叶斯定理可得
前提是分母非零。因此,即使灵敏度与特异度保持不变,精确率也可能随总体而变化。
**评估数据必须能代表预期使用场景。**在训练数据上得到的结果,通常不能证明模型在未见样本上的性能。留出评估和交叉验证可以解决这一问题的部分方面,但分布变化、缺乏代表性的抽样和信息泄漏仍可能影响结果的解读。
**参考标签可能不完善。**与参考标签不一致,并不能证明分类器在绝对意义上是错误的。定义模糊、标注错误以及标注者之间的分歧,都可能增加非对角线元素的计数。
**计数存在抽样不确定性。**根据有限样本计算出的各种比率,会随所选样本而变化。置信区间或自助采样方法可以量化这种不确定性的某些方面。估计不确定性时,必须考虑样本之间的依赖关系,例如来自同一个人的重复记录。
**硬分类标签会丢失分数信息。**两个模型的混淆矩阵可能完全相同,但它们给出的概率却可能相差很大。仅凭矩阵无法判断概率是否经过良好校准,也无法确定交叉熵等基于分数的损失。
**汇总会掩盖结构。**矩阵不保留单个观测样本、子群体差异、时间顺序或每次错误发生时的具体情境。要确定错误发生在哪里,以及相关群体之间的性能是否存在差异,还需要进一步分析。
对于目标检测等结构化预测任务,混淆矩阵还取决于如何将预测结果与参考对象匹配。对于被拒绝的预测、未知类别、未匹配的检测结果或缺失的参考对象,都需要明确规定处理方式;否则,表面上相似的矩阵可能统计的是不同事件。