多分类是一种监督学习任务,模型将一个输入分配到三个或更多预定义类别中的唯一一个。例如,将手写数字识别为十个数字之一,将文档归入单一主题,以及识别图像中的主要物体。它是二分类的扩展,后者仅区分两个类别;它也不同于多标签分类,后者允许一个输入同时获得多个标签。
问题表述
多分类问题包含一个输入空间 和一个有限标签集 ,其中 。给定训练数据
目标是学习一个分类器
使其能够为此前未见过的输入准确预测标签。
标签表示类别,而不是数值量。将三种动物编码为 1、2 和 3,并不意味着第三种动物大于第二种,也不意味着物种之间的距离具有意义。独热编码用一个向量表示每个类别,其中对应位置的分量为 1,其余分量为 0,不过许多实现也直接接受整数形式的类别索引。
概率分类器估计各类别的条件概率:
当所有错误分类的代价相同时,标准预测规则会选择估计概率最大的类别:
如果使用真实的条件概率,这一规则可使误分类概率最小。当不同错误的代价不同时,适当的规则则应使期望代价最小。
相关分类设定
一些相近问题对输出有不同的假设:
- **多标签分类:**每个输入可以属于多个类别,例如一张照片同时标有“海滩”和“日落”。
- **有序分类:**类别具有内在顺序,例如严重程度分为低、中、高。
- **层次分类:**类别处于一个分类层次体系中,预测可以在不同层级上进行。
- **开放集识别:**输入可能属于训练中未出现的类别,而不一定属于某个已知类别。
标准多分类通常采用闭集设定:假定现有类别涵盖所有允许的输入。然而,分类器仍可能为超出预期范围的输入给出标签,因此,给出答案并不能证明该输入属于某个已知类别。
建模方法
多分类问题既可以使用对所有类别进行联合建模的模型处理,也可以通过组合多个二分类器来处理。
联合多分类模型
多种机器学习方法天然支持两个以上的类别:
- 决策树学习通过划分输入空间构建决策树,并为叶节点赋予类别标签或类别分布。
- 随机森林综合多棵树的预测。
- 朴素贝叶斯分类器在条件独立假设下,将类别先验概率与给定类别时特征的似然相结合。
- K近邻算法根据附近训练样本的标签进行预测。
- 人工神经网络可以为每个类别输出一个得分,并联合学习所有类别的得分。
多项逻辑回归先为每个类别计算线性得分,再进行 Softmax 变换。神经网络分类器则在最终的类别评分层之前学习非线性表示,从而推广这一结构。
一对其余
一对其余策略训练 个二分类器。分类器 负责区分类别 与其余所有类别。预测时,通常选择决策得分最高的类别。
这种方法可以复用二分类学习方法,但每个二分类问题都可能存在类别不平衡,尤其是在 较大时。各二分类器独立预测时,也可能同时将多个类别判为正类,或没有任何类别被判为正类;基于得分的选择规则可据此确定最终的单标签预测。
分别训练的分类器所输出的得分,并不能自动作为概率相互比较。如何解释这些得分,取决于底层模型以及后续是否进行了校准。
一对一
一对一策略为每一对类别训练一个分类器,共得到
个二分类器。每个分类器只使用其对应的两个类别的样本进行训练。各分类器的预测通过投票或其他汇总方法进行组合。
尽管这种方法会产生许多分类器,但每个分类器使用的训练子集更小。它已被广泛用于支持向量机。其实际开销取决于学习算法、各类别的样本量和预测流程,而不只是分类器的数量。
纠错输出码
纠错输出码为每个类别分配一个二元或三元码字。二分类器预测码字的各个分量,再由解码规则选择距离最近的类别码字。
这种方法受到纠错码的启发,能够引入冗余:即使部分分量预测错误,解码得到的类别也可能保持不变。其有效性取决于编码设计、分类器的准确性,以及各分量错误的多样性。
Softmax 与训练目标
常见的多分类模型会输出一组称为 logit 的实值得分 。Softmax函数将这些得分转换为归一化的概率向量:
为保证数值稳定性,实现时通常在求指数之前,从所有 logit 中减去最大的 logit。这不会改变所得概率。
概率多分类的标准损失函数是类别交叉熵。对于正确类别为 的训练样本,
对于独热编码的目标 ,其等价表达式为
最小化平均交叉熵等价于最大化观测标签的条件似然。神经网络通常使用反向传播和基于梯度的方法来优化这一目标。
交叉熵并非唯一选择。多分类间隔损失,包括合页损失形式的目标函数,会促使正确类别的得分比其他类别的得分至少高出指定间隔。类别加权会改变不同类别样本的相对影响。标签平滑将硬性的独热目标替换为软化后的目标,可能同时影响学习过程和置信度估计。
正则化对模型拟合施加约束,可以减轻过拟合。仅有 Softmax 输出,并不能保证模型给出的概率准确反映现实中的发生频率。
评估
评估需要使用独立于模型拟合过程的数据。验证集用于模型选择,而预留的测试集用于在这些选择确定后估计性能。若重复或相互关联的观测样本跨越这些数据集的边界,可能造成数据泄漏(机器学习),使测得的性能虚高。
混淆矩阵与准确率
混淆矩阵记录每一种真实类别与预测类别组合对应的样本数量。它能揭示哪些类别容易相互混淆,但必须说明真实标签是按行还是按列排列。
准确率是正确分类的样本所占的比例:
当各类别和各类错误的重要性相近时,准确率很有用,但它可能掩盖模型在稀有类别上的糟糕表现。一个几乎总是预测样本最多类别的分类器,可能获得很高的准确率,却无法有效区分其他类别。
精确率、召回率与 F 分数
对于每个类别,可以将其余所有类别视为负类:
各类别的 F1 分数为
可以通过多种方式汇总结果:
- 宏平均赋予每个类别相同的权重。
- 加权平均根据各类别的真实样本数量,对类别得分加权。
- 微平均先汇总所有类别的计数,再计算指标。
在普通的单标签多分类评估中,如果包含所有类别,且每个样本恰好得到一个预测标签,那么微平均精确率、召回率和 F1 都等于准确率。宏平均 F1 通常是各类别 F1 分数的平均值,而不是根据宏平均精确率和召回率计算出的 F1。具体实现必须规定如何处理分母为零的情况。
排序预测与概率质量
Top- 准确率将真实类别出现在得分最高的 个类别中的预测视为正确。当系统会展示多个候选结果时,这一指标很有用,但它在很大程度上取决于可选类别的数量和区分难度。
对数损失和多分类 Brier 分数评估的是预测概率,而不只是得分最高的类别。概率校准关注模型给出的置信度是否与实际观测到的正确率相符。模型可以在分类准确的同时,系统性地表现得过于自信。
应用
在图像分类中,模型可以将一张图像归入一个物体类别。在文档处理中,模型可以选择主题、语言或转发目的地。字符识别将各个符号视为类别。在语义分割中,每个像素都会获得一个类别标签,因此,多分类预测构成了更大规模结构化输出任务的一部分。
任务类型取决于标签方案,而不只是数据类型。为一篇文章指定一个主题属于多分类;为其指定所有适用的主题属于多标签分类。根据同一篇文章预测某个数值属性则属于回归。
局限与实际挑战
类别不平衡与样本稀缺。 稀有类别对整体训练目标的贡献可能很小,对其评估结果的估计也可能具有较大不确定性。加权和重采样会改变学习问题,但必须结合预期部署时的数据分布评估其效果。
标签模糊或不一致。 单标签设定可能迫使模型在相互重叠的类别之间做出选择。即使模型容量充足,标注错误和不清晰的类别定义也可能限制可达到的一致程度。
分布变化。 分布偏移可能改变输入特征、类别频率,或输入与标签之间的关系。在固定测试集上的性能,并不能保证这些变化发生后仍有同等表现。
未知输入与置信度。 即使面对不熟悉的输入,闭集模型通常仍会选择一个已知类别。拒识机制和开放集方法会单独处理这一问题;较高的 Softmax 置信度并不能可靠地证明输入是模型熟悉的。
大规模标签空间。 随着类别数量增加,输出层计算、标签存储和数据需求可能变得十分庞大。层次化预测、候选检索和近似归一化可以降低部分开销,但也会引入额外的设计选择和潜在错误。
错误代价不等。 普通准确率对所有错误一视同仁。如果混淆某一对类别与混淆另一对类别会产生不同后果,评估和决策规则就必须反映这些代价,而不能只依赖概率最高的标签。