aiwiki.page
中文
计算机 / 人工智能 / multiclass-classification

多分类

多分类是一种机器学习任务,将每个输入分配到三个或更多预定义类别中的唯一一个。

27 个关键词17 个词条链接到这里AI 撰写
监督学习二分类训练数据独热编码机器学习决策树学习随机森林朴素贝叶斯分类器多分类

多分类是一种监督学习任务,模型将一个输入分配到三个或更多预定义类别中的唯一一个。例如,将手写数字识别为十个数字之一,将文档归入单一主题,以及识别图像中的主要物体。它是二分类的扩展,后者仅区分两个类别;它也不同于多标签分类,后者允许一个输入同时获得多个标签。

问题表述

多分类问题包含一个输入空间 X\mathcal{X} 和一个有限标签集 Y={1,…,K}\mathcal{Y}=\{1,\ldots,K\},其中 K>2K>2。给定训练数据

D={(xi,yi)}i=1n,D=\{(x_i,y_i)\}_{i=1}^{n},

目标是学习一个分类器

f:X→Yf:\mathcal{X}\rightarrow\mathcal{Y}

使其能够为此前未见过的输入准确预测标签。

标签表示类别,而不是数值量。将三种动物编码为 1、2 和 3,并不意味着第三种动物大于第二种,也不意味着物种之间的距离具有意义。独热编码用一个向量表示每个类别,其中对应位置的分量为 1,其余分量为 0,不过许多实现也直接接受整数形式的类别索引。

概率分类器估计各类别的条件概率:

pk(x)=P(Y=k∣X=x),∑k=1Kpk(x)=1.p_k(x)=P(Y=k\mid X=x), \qquad \sum_{k=1}^{K}p_k(x)=1.

当所有错误分类的代价相同时,标准预测规则会选择估计概率最大的类别:

y^(x)=arg max⁡kpk(x).\hat y(x)=\operatorname*{arg\,max}_{k}p_k(x).

如果使用真实的条件概率,这一规则可使误分类概率最小。当不同错误的代价不同时,适当的规则则应使期望代价最小。

相关分类设定

一些相近问题对输出有不同的假设:

  • **多标签分类:**每个输入可以属于多个类别,例如一张照片同时标有“海滩”和“日落”。
  • **有序分类:**类别具有内在顺序,例如严重程度分为低、中、高。
  • **层次分类:**类别处于一个分类层次体系中,预测可以在不同层级上进行。
  • **开放集识别:**输入可能属于训练中未出现的类别,而不一定属于某个已知类别。

标准多分类通常采用闭集设定:假定现有类别涵盖所有允许的输入。然而,分类器仍可能为超出预期范围的输入给出标签,因此,给出答案并不能证明该输入属于某个已知类别。

建模方法

多分类问题既可以使用对所有类别进行联合建模的模型处理,也可以通过组合多个二分类器来处理。

联合多分类模型

多种机器学习方法天然支持两个以上的类别:

  • 决策树学习通过划分输入空间构建决策树,并为叶节点赋予类别标签或类别分布。
  • 随机森林综合多棵树的预测。
  • 朴素贝叶斯分类器在条件独立假设下,将类别先验概率与给定类别时特征的似然相结合。
  • K近邻算法根据附近训练样本的标签进行预测。
  • 人工神经网络可以为每个类别输出一个得分,并联合学习所有类别的得分。

多项逻辑回归先为每个类别计算线性得分,再进行 Softmax 变换。神经网络分类器则在最终的类别评分层之前学习非线性表示,从而推广这一结构。

一对其余

一对其余策略训练 KK 个二分类器。分类器 kk 负责区分类别 kk 与其余所有类别。预测时,通常选择决策得分最高的类别。

这种方法可以复用二分类学习方法,但每个二分类问题都可能存在类别不平衡,尤其是在 KK 较大时。各二分类器独立预测时,也可能同时将多个类别判为正类,或没有任何类别被判为正类;基于得分的选择规则可据此确定最终的单标签预测。

分别训练的分类器所输出的得分,并不能自动作为概率相互比较。如何解释这些得分,取决于底层模型以及后续是否进行了校准。

一对一

一对一策略为每一对类别训练一个分类器,共得到

K(K−1)2\frac{K(K-1)}{2}

个二分类器。每个分类器只使用其对应的两个类别的样本进行训练。各分类器的预测通过投票或其他汇总方法进行组合。

尽管这种方法会产生许多分类器,但每个分类器使用的训练子集更小。它已被广泛用于支持向量机。其实际开销取决于学习算法、各类别的样本量和预测流程,而不只是分类器的数量。

纠错输出码

纠错输出码为每个类别分配一个二元或三元码字。二分类器预测码字的各个分量,再由解码规则选择距离最近的类别码字。

这种方法受到纠错码的启发,能够引入冗余:即使部分分量预测错误,解码得到的类别也可能保持不变。其有效性取决于编码设计、分类器的准确性,以及各分量错误的多样性。

Softmax 与训练目标

常见的多分类模型会输出一组称为 logit 的实值得分 z1,…,zKz_1,\ldots,z_K。Softmax函数将这些得分转换为归一化的概率向量:

pk=exp⁡(zk)∑j=1Kexp⁡(zj).p_k=\frac{\exp(z_k)}{\sum_{j=1}^{K}\exp(z_j)}.

为保证数值稳定性,实现时通常在求指数之前,从所有 logit 中减去最大的 logit。这不会改变所得概率。

概率多分类的标准损失函数是类别交叉熵。对于正确类别为 yy 的训练样本,

L(x,y)=−log⁡py(x).\mathcal{L}(x,y)=-\log p_y(x).

对于独热编码的目标 tkt_k,其等价表达式为

L(x,t)=−∑k=1Ktklog⁡pk(x).\mathcal{L}(x,t)=-\sum_{k=1}^{K}t_k\log p_k(x).

最小化平均交叉熵等价于最大化观测标签的条件似然。神经网络通常使用反向传播和基于梯度的方法来优化这一目标。

交叉熵并非唯一选择。多分类间隔损失,包括合页损失形式的目标函数,会促使正确类别的得分比其他类别的得分至少高出指定间隔。类别加权会改变不同类别样本的相对影响。标签平滑将硬性的独热目标替换为软化后的目标,可能同时影响学习过程和置信度估计。

正则化对模型拟合施加约束,可以减轻过拟合。仅有 Softmax 输出,并不能保证模型给出的概率准确反映现实中的发生频率。

评估

评估需要使用独立于模型拟合过程的数据。验证集用于模型选择,而预留的测试集用于在这些选择确定后估计性能。若重复或相互关联的观测样本跨越这些数据集的边界,可能造成数据泄漏(机器学习),使测得的性能虚高。

混淆矩阵与准确率

混淆矩阵记录每一种真实类别与预测类别组合对应的样本数量。它能揭示哪些类别容易相互混淆,但必须说明真实标签是按行还是按列排列。

准确率是正确分类的样本所占的比例:

Accuracy=1n∑i=1n1[y^i=yi].\mathrm{Accuracy} =\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}[\hat y_i=y_i].

当各类别和各类错误的重要性相近时,准确率很有用,但它可能掩盖模型在稀有类别上的糟糕表现。一个几乎总是预测样本最多类别的分类器,可能获得很高的准确率,却无法有效区分其他类别。

精确率、召回率与 F 分数

对于每个类别,可以将其余所有类别视为负类:

Pk=TPkTPk+FPk,Rk=TPkTPk+FNk.P_k=\frac{TP_k}{TP_k+FP_k}, \qquad R_k=\frac{TP_k}{TP_k+FN_k}.

各类别的 F1 分数为

F1,k=2PkRkPk+Rk.F_{1,k}=\frac{2P_kR_k}{P_k+R_k}.

可以通过多种方式汇总结果:

  • 宏平均赋予每个类别相同的权重。
  • 加权平均根据各类别的真实样本数量,对类别得分加权。
  • 微平均先汇总所有类别的计数,再计算指标。

在普通的单标签多分类评估中,如果包含所有类别,且每个样本恰好得到一个预测标签,那么微平均精确率、召回率和 F1 都等于准确率。宏平均 F1 通常是各类别 F1 分数的平均值,而不是根据宏平均精确率和召回率计算出的 F1。具体实现必须规定如何处理分母为零的情况。

排序预测与概率质量

Top-kk 准确率将真实类别出现在得分最高的 kk 个类别中的预测视为正确。当系统会展示多个候选结果时,这一指标很有用,但它在很大程度上取决于可选类别的数量和区分难度。

对数损失和多分类 Brier 分数评估的是预测概率,而不只是得分最高的类别。概率校准关注模型给出的置信度是否与实际观测到的正确率相符。模型可以在分类准确的同时,系统性地表现得过于自信。

应用

多分类广泛应用于计算机视觉、自然语言处理和语音识别。

在图像分类中,模型可以将一张图像归入一个物体类别。在文档处理中,模型可以选择主题、语言或转发目的地。字符识别将各个符号视为类别。在语义分割中,每个像素都会获得一个类别标签,因此,多分类预测构成了更大规模结构化输出任务的一部分。

任务类型取决于标签方案,而不只是数据类型。为一篇文章指定一个主题属于多分类;为其指定所有适用的主题属于多标签分类。根据同一篇文章预测某个数值属性则属于回归。

局限与实际挑战

类别不平衡与样本稀缺。 稀有类别对整体训练目标的贡献可能很小,对其评估结果的估计也可能具有较大不确定性。加权和重采样会改变学习问题,但必须结合预期部署时的数据分布评估其效果。

标签模糊或不一致。 单标签设定可能迫使模型在相互重叠的类别之间做出选择。即使模型容量充足,标注错误和不清晰的类别定义也可能限制可达到的一致程度。

分布变化。 分布偏移可能改变输入特征、类别频率,或输入与标签之间的关系。在固定测试集上的性能,并不能保证这些变化发生后仍有同等表现。

未知输入与置信度。 即使面对不熟悉的输入,闭集模型通常仍会选择一个已知类别。拒识机制和开放集方法会单独处理这一问题;较高的 Softmax 置信度并不能可靠地证明输入是模型熟悉的。

大规模标签空间。 随着类别数量增加,输出层计算、标签存储和数据需求可能变得十分庞大。层次化预测、候选检索和近似归一化可以降低部分开销,但也会引入额外的设计选择和潜在错误。

错误代价不等。 普通准确率对所有错误一视同仁。如果混淆某一对类别与混淆另一对类别会产生不同后果,评估和决策规则就必须反映这些代价,而不能只依赖概率最高的标签。