{
  "id": "multiclass-classification",
  "title": "多分类",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "多分类是一种机器学习任务，将每个输入分配到三个或更多预定义类别中的唯一一个。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "多类分类",
    "多类别分类"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/multiclass-classification/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/multiclass-classification/",
      "json": "https://aiwiki.page/en/multiclass-classification.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "多分类是一种监督学习任务，模型将一个输入分配到三个或更多预定义类别中的唯一一个。例如，将手写数字识别为十个数字之一，将文档归入单一主题，以及识别图像中的主要物体。它是二分类的扩展，后者仅区分两个类别；它也不同于多标签分类，后者允许一个输入同时获得多个标签。"
    },
    {
      "heading": "问题表述",
      "text": "多分类问题包含一个输入空间 \\(\\mathcal{X}\\) 和一个有限标签集 \\(\\mathcal{Y}=\\{1,\\ldots,K\\}\\)，其中 \\(K>2\\)。给定训练数据\n\n\\[D=\\{(x_i,y_i)\\}_{i=1}^{n},\\]\n\n目标是学习一个分类器\n\n\\[f:\\mathcal{X}\\rightarrow\\mathcal{Y}\\]\n\n使其能够为此前未见过的输入准确预测标签。\n\n标签表示类别，而不是数值量。将三种动物编码为 1、2 和 3，并不意味着第三种动物大于第二种，也不意味着物种之间的距离具有意义。独热编码用一个向量表示每个类别，其中对应位置的分量为 1，其余分量为 0，不过许多实现也直接接受整数形式的类别索引。\n\n概率分类器估计各类别的条件概率：\n\n\\[p_k(x)=P(Y=k\\mid X=x), \\qquad \\sum_{k=1}^{K}p_k(x)=1.\\]\n\n当所有错误分类的代价相同时，标准预测规则会选择估计概率最大的类别：\n\n\\[\\hat y(x)=\\operatorname*{arg\\,max}_{k}p_k(x).\\]\n\n如果使用真实的条件概率，这一规则可使误分类概率最小。当不同错误的代价不同时，适当的规则则应使期望代价最小。\n\n相关分类设定\n\n一些相近问题对输出有不同的假设：\n\n- **多标签分类：**每个输入可以属于多个类别，例如一张照片同时标有“海滩”和“日落”。\n- **有序分类：**类别具有内在顺序，例如严重程度分为低、中、高。\n- **层次分类：**类别处于一个分类层次体系中，预测可以在不同层级上进行。\n- **开放集识别：**输入可能属于训练中未出现的类别，而不一定属于某个已知类别。\n\n标准多分类通常采用闭集设定：假定现有类别涵盖所有允许的输入。然而，分类器仍可能为超出预期范围的输入给出标签，因此，给出答案并不能证明该输入属于某个已知类别。"
    },
    {
      "heading": "建模方法",
      "text": "多分类问题既可以使用对所有类别进行联合建模的模型处理，也可以通过组合多个二分类器来处理。\n\n联合多分类模型\n\n多种机器学习方法天然支持两个以上的类别：\n\n- 决策树学习通过划分输入空间构建决策树，并为叶节点赋予类别标签或类别分布。\n- 随机森林综合多棵树的预测。\n- 朴素贝叶斯分类器在条件独立假设下，将类别先验概率与给定类别时特征的似然相结合。\n- K近邻算法根据附近训练样本的标签进行预测。\n- 人工神经网络可以为每个类别输出一个得分，并联合学习所有类别的得分。\n\n多项逻辑回归先为每个类别计算线性得分，再进行 Softmax 变换。神经网络分类器则在最终的类别评分层之前学习非线性表示，从而推广这一结构。\n\n一对其余\n\n一对其余策略训练 \\(K\\) 个二分类器。分类器 \\(k\\) 负责区分类别 \\(k\\) 与其余所有类别。预测时，通常选择决策得分最高的类别。\n\n这种方法可以复用二分类学习方法，但每个二分类问题都可能存在类别不平衡，尤其是在 \\(K\\) 较大时。各二分类器独立预测时，也可能同时将多个类别判为正类，或没有任何类别被判为正类；基于得分的选择规则可据此确定最终的单标签预测。\n\n分别训练的分类器所输出的得分，并不能自动作为概率相互比较。如何解释这些得分，取决于底层模型以及后续是否进行了校准。\n\n一对一\n\n一对一策略为每一对类别训练一个分类器，共得到\n\n\\[\\frac{K(K-1)}{2}\\]\n\n个二分类器。每个分类器只使用其对应的两个类别的样本进行训练。各分类器的预测通过投票或其他汇总方法进行组合。\n\n尽管这种方法会产生许多分类器，但每个分类器使用的训练子集更小。它已被广泛用于支持向量机。其实际开销取决于学习算法、各类别的样本量和预测流程，而不只是分类器的数量。\n\n纠错输出码\n\n纠错输出码为每个类别分配一个二元或三元码字。二分类器预测码字的各个分量，再由解码规则选择距离最近的类别码字。\n\n这种方法受到纠错码的启发，能够引入冗余：即使部分分量预测错误，解码得到的类别也可能保持不变。其有效性取决于编码设计、分类器的准确性，以及各分量错误的多样性。"
    },
    {
      "heading": "Softmax 与训练目标",
      "text": "常见的多分类模型会输出一组称为 logit 的实值得分 \\(z_1,\\ldots,z_K\\)。Softmax函数将这些得分转换为归一化的概率向量：\n\n\\[p_k=\\frac{\\exp(z_k)}{\\sum_{j=1}^{K}\\exp(z_j)}.\\]\n\n为保证数值稳定性，实现时通常在求指数之前，从所有 logit 中减去最大的 logit。这不会改变所得概率。\n\n概率多分类的标准损失函数是类别交叉熵。对于正确类别为 \\(y\\) 的训练样本，\n\n\\[\\mathcal{L}(x,y)=-\\log p_y(x).\\]\n\n对于独热编码的目标 \\(t_k\\)，其等价表达式为\n\n\\[\\mathcal{L}(x,t)=-\\sum_{k=1}^{K}t_k\\log p_k(x).\\]\n\n最小化平均交叉熵等价于最大化观测标签的条件似然。神经网络通常使用反向传播和基于梯度的方法来优化这一目标。\n\n交叉熵并非唯一选择。多分类间隔损失，包括合页损失形式的目标函数，会促使正确类别的得分比其他类别的得分至少高出指定间隔。类别加权会改变不同类别样本的相对影响。标签平滑将硬性的独热目标替换为软化后的目标，可能同时影响学习过程和置信度估计。\n\n正则化对模型拟合施加约束，可以减轻过拟合。仅有 Softmax 输出，并不能保证模型给出的概率准确反映现实中的发生频率。"
    },
    {
      "heading": "评估",
      "text": "评估需要使用独立于模型拟合过程的数据。验证集用于模型选择，而预留的测试集用于在这些选择确定后估计性能。若重复或相互关联的观测样本跨越这些数据集的边界，可能造成数据泄漏（机器学习），使测得的性能虚高。\n\n混淆矩阵与准确率\n\n混淆矩阵记录每一种真实类别与预测类别组合对应的样本数量。它能揭示哪些类别容易相互混淆，但必须说明真实标签是按行还是按列排列。\n\n准确率是正确分类的样本所占的比例：\n\n\\[\\mathrm{Accuracy} =\\frac{1}{n}\\sum_{i=1}^{n}\\mathbf{1}[\\hat y_i=y_i].\\]\n\n当各类别和各类错误的重要性相近时，准确率很有用，但它可能掩盖模型在稀有类别上的糟糕表现。一个几乎总是预测样本最多类别的分类器，可能获得很高的准确率，却无法有效区分其他类别。\n\n精确率、召回率与 F 分数\n\n对于每个类别，可以将其余所有类别视为负类：\n\n\\[P_k=\\frac{TP_k}{TP_k+FP_k}, \\qquad R_k=\\frac{TP_k}{TP_k+FN_k}.\\]\n\n各类别的 F1 分数为\n\n\\[F_{1,k}=\\frac{2P_kR_k}{P_k+R_k}.\\]\n\n可以通过多种方式汇总结果：\n\n- 宏平均赋予每个类别相同的权重。\n- 加权平均根据各类别的真实样本数量，对类别得分加权。\n- 微平均先汇总所有类别的计数，再计算指标。\n\n在普通的单标签多分类评估中，如果包含所有类别，且每个样本恰好得到一个预测标签，那么微平均精确率、召回率和 F1 都等于准确率。宏平均 F1 通常是各类别 F1 分数的平均值，而不是根据宏平均精确率和召回率计算出的 F1。具体实现必须规定如何处理分母为零的情况。\n\n排序预测与概率质量\n\nTop-\\(k\\) 准确率将真实类别出现在得分最高的 \\(k\\) 个类别中的预测视为正确。当系统会展示多个候选结果时，这一指标很有用，但它在很大程度上取决于可选类别的数量和区分难度。\n\n对数损失和多分类 Brier 分数评估的是预测概率，而不只是得分最高的类别。概率校准关注模型给出的置信度是否与实际观测到的正确率相符。模型可以在分类准确的同时，系统性地表现得过于自信。"
    },
    {
      "heading": "应用",
      "text": "多分类广泛应用于计算机视觉、自然语言处理和语音识别。\n\n在图像分类中，模型可以将一张图像归入一个物体类别。在文档处理中，模型可以选择主题、语言或转发目的地。字符识别将各个符号视为类别。在语义分割中，每个像素都会获得一个类别标签，因此，多分类预测构成了更大规模结构化输出任务的一部分。\n\n任务类型取决于标签方案，而不只是数据类型。为一篇文章指定一个主题属于多分类；为其指定所有适用的主题属于多标签分类。根据同一篇文章预测某个数值属性则属于回归。"
    },
    {
      "heading": "局限与实际挑战",
      "text": "类别不平衡与样本稀缺。 稀有类别对整体训练目标的贡献可能很小，对其评估结果的估计也可能具有较大不确定性。加权和重采样会改变学习问题，但必须结合预期部署时的数据分布评估其效果。\n\n标签模糊或不一致。 单标签设定可能迫使模型在相互重叠的类别之间做出选择。即使模型容量充足，标注错误和不清晰的类别定义也可能限制可达到的一致程度。\n\n分布变化。 分布偏移可能改变输入特征、类别频率，或输入与标签之间的关系。在固定测试集上的性能，并不能保证这些变化发生后仍有同等表现。\n\n未知输入与置信度。 即使面对不熟悉的输入，闭集模型通常仍会选择一个已知类别。拒识机制和开放集方法会单独处理这一问题；较高的 Softmax 置信度并不能可靠地证明输入是模型熟悉的。\n\n大规模标签空间。 随着类别数量增加，输出层计算、标签存储和数据需求可能变得十分庞大。层次化预测、候选检索和近似归一化可以降低部分开销，但也会引入额外的设计选择和潜在错误。\n\n错误代价不等。 普通准确率对所有错误一视同仁。如果混淆某一对类别与混淆另一对类别会产生不同后果，评估和决策规则就必须反映这些代价，而不能只依赖概率最高的标签。"
    }
  ],
  "links": [
    "supervised-learning",
    "binary-classification",
    "training-data",
    "one-hot-encoding",
    "machine-learning",
    "decision-tree-learning",
    "random-forest",
    "naive-bayes-classifier",
    "k-nearest-neighbors-algorithm",
    "artificial-neural-network",
    "support-vector-machine",
    "error-correcting-code",
    "softmax-function",
    "loss-function",
    "backpropagation",
    "regularization",
    "overfitting",
    "validation-set",
    "test-set",
    "data-leakage",
    "confusion-matrix",
    "computer-vision",
    "natural-language-processing",
    "speech-recognition",
    "image-classification",
    "semantic-segmentation",
    "distribution-shift"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}