{
  "id": "multinomial-logistic-regression",
  "title": "多项逻辑回归",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "多项逻辑回归将类别间的对数概率比表示为预测变量的线性函数，以建模无序分类结果的概率。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "多分类逻辑回归",
    "多元逻辑回归",
    "Softmax回归",
    "多项Logit模型"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/multinomial-logistic-regression/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/multinomial-logistic-regression/",
      "json": "https://aiwiki.page/en/multinomial-logistic-regression.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "多项逻辑回归是一种统计模型，用于预测属于多个互斥、无序类别之一的结果。它是二元逻辑回归的扩展，为每个类别赋予一个概率，并约束这些概率之和为一。该模型将类别间的对数概率比表示为预测变量的线性函数；等价地，也可以用Softmax函数对各类别的线性得分进行变换。它既用于统计推断，也用于机器学习中的分类任务。"
    },
    {
      "heading": "模型设定",
      "text": "设 \\(Y\\) 为具有 \\(K\\) 个可能取值的分类结果，\\(x\\in\\mathbb{R}^{p}\\) 包含各预测变量。通过定义增广预测变量向量，可以在模型中加入截距：\n\n\\[\\tilde{x}=(1,x_1,\\ldots,x_p)^\\top.\\]\n\n为每个类别 \\(k\\) 定义得分\n\n\\[\\eta_k(x)=\\theta_k^\\top\\tilde{x},\\]\n\n其中，\\(\\theta_k\\) 为系数向量。模型给出的类别 \\(k\\) 的条件概率为\n\n\\[p_k(x) = P(Y=k\\mid x) = \\frac{\\exp\\{\\eta_k(x)\\}} {\\sum_{j=1}^{K}\\exp\\{\\eta_j(x)\\}}.\\]\n\n当得分为有限值时，每个概率都严格介于零和一之间，且\n\n\\[\\sum_{k=1}^{K}p_k(x)=1.\\]\n\n这些类别不必具有顺序。用于编码类别的数字只是标签，而非定量测量值。\n\n参考类别参数化\n\n不加约束的 softmax 表示存在冗余：给所有系数向量加上同一个向量 \\(a\\)，所有概率都保持不变。这就产生了统计识别问题。\n\n一种常见的解决办法是选择类别 \\(K\\) 作为参考类别，并令 \\(\\theta_K=0\\)。此时模型变为\n\n\\[\\log\\frac{p_k(x)}{p_K(x)} = \\theta_k^\\top\\tilde{x}, \\qquad k=1,\\ldots,K-1,\\]\n\n相应的概率为\n\n\\[p_k(x) = \\frac{\\exp(\\theta_k^\\top\\tilde{x})} {1+\\sum_{j=1}^{K-1}\\exp(\\theta_j^\\top\\tilde{x})},\\]\n\n以及\n\n\\[p_K(x) = \\frac{1} {1+\\sum_{j=1}^{K-1}\\exp(\\theta_j^\\top\\tilde{x})}.\\]\n\n当模型包含 \\(p\\) 个预测变量和一个截距时，这种参数化共有 \\((K-1)(p+1)\\) 个系数。另一种识别约定是施加约束 \\(\\sum_k\\theta_k=0\\)。\n\n更换参考类别会改变系数的表示，但对于除此之外等价的无惩罚模型，不会改变拟合概率。当 \\(K=2\\) 时，该形式退化为普通的二元逻辑回归。"
    },
    {
      "heading": "解释",
      "text": "类别概率比\n\n对于任意两个类别 \\(k\\) 和 \\(l\\)，有\n\n\\[\\log\\frac{p_k(x)}{p_l(x)} = (\\theta_k-\\theta_l)^\\top\\tilde{x}.\\]\n\n因此，当预测变量 \\(x_r\\) 增加一个单位，而其他预测变量保持不变时，概率比 \\(p_k/p_l\\) 将乘以\n\n\\[\\exp(\\theta_{kr}-\\theta_{lr}).\\]\n\n当 \\(l\\) 为参考类别时，这一乘数为 \\(\\exp(\\theta_{kr})\\)。在多项 Logit 软件中，它通常称为相对风险比。它比较的是两个结果类别的概率，而不是类别 \\(k\\) 的概率与其余所有类别合计概率的比值。\n\n因此，它的解释不同于将某类别与其余所有类别进行比较时所用的优势比\n\n\\[\\frac{p_k}{1-p_k}.\\]\n\n例如，考虑出行方式包含汽车、公交车和自行车三个类别，并以汽车为参考类别。如果公交车方程中出行距离的系数为 \\(0.4\\)，则意味着在其他预测变量保持不变时，距离每增加一个单位，模型给出的公交车与汽车的概率比就乘以 \\(e^{0.4}\\)。这并不意味着乘坐公交车的概率增加了 40 个百分点。\n\n对概率的影响\n\n仅凭系数的正负，无法确定相应类别概率的变化方向。当得分为线性形式时，\n\n\\[\\frac{\\partial p_k(x)}{\\partial x_r} = p_k(x) \\left[ \\theta_{kr} - \\sum_{j=1}^{K}p_j(x)\\theta_{jr} \\right].\\]\n\n概率的变化取决于所有类别的系数以及预测变量的当前取值。因此，相对于参考类别为正的系数，也可能对应着对该类别概率的负向影响。\n\n概率尺度上的效应通常以导数、在观测到的预测变量取值上求得的平均导数，或指定预测变量取值之间的离散变化来报告。这些量描述的是模型中的关联；若要作因果解释，还需要额外假设和适当的因果推断框架。"
    },
    {
      "heading": "似然与估计",
      "text": "对于观测 \\((x_i,y_i)\\)，定义\n\n\\[y_{ik}= \\begin{cases} 1,&y_i=k,\\\\ 0,&y_i\\ne k. \\end{cases}\\]\n\n在各观测条件独立的假设下，似然函数为\n\n\\[L(\\theta) = \\prod_{i=1}^{n}\\prod_{k=1}^{K} p_k(x_i)^{y_{ik}},\\]\n\n对数似然为\n\n\\[\\ell(\\theta) = \\sum_{i=1}^{n}\\sum_{k=1}^{K} y_{ik}\\log p_k(x_i).\\]\n\n最大似然估计使这一表达式达到最大值。等价地，它使负对数似然达到最小值：\n\n\\[\\mathcal{L}(\\theta) = -\\sum_{i=1}^{n}\\sum_{k=1}^{K} y_{ik}\\log p_k(x_i),\\]\n\n这就是独热编码类别标签的交叉熵损失之和。\n\n同一个概率模型也适用于分组数据。如果一组具有相同预测变量取值的观测，其各类别计数为 \\(n_{i1},\\ldots,n_{iK}\\)，那么除去一个与参数无关的多项式系数，该组对对数似然的贡献为\n\n\\[\\sum_{k=1}^{K}n_{ik}\\log p_k(x_i).\\]\n\n优化\n\n对于固定的预测变量，负对数似然是系数参数的凸函数。在包含所有类别的表示中，它对类别 \\(k\\) 的系数向量的梯度为\n\n\\[\\frac{\\partial\\mathcal{L}}{\\partial\\theta_k} = \\sum_{i=1}^{n} \\bigl(p_k(x_i)-y_{ik}\\bigr)\\tilde{x}_i.\\]\n\n其海森矩阵的第 \\((k,l)\\) 个分块为\n\n\\[H_{kl} = \\sum_{i=1}^{n} p_k(x_i)\\bigl(\\delta_{kl}-p_l(x_i)\\bigr) \\tilde{x}_i\\tilde{x}_i^\\top,\\]\n\n其中，\\(k=l\\) 时 \\(\\delta_{kl}\\) 等于一，否则等于零。\n\n常用的拟合方法包括牛顿法、拟牛顿算法和随机梯度下降。凸性排除了非全局最优的局部极小值，但并不保证存在有限且唯一的无惩罚估计。\n\n数值稳定性\n\n当得分很大时，直接计算指数可能导致溢出。为保证数值稳定性，实际实现中使用以下恒等式：\n\n\\[\\log\\sum_{j=1}^{K}e^{\\eta_j} = m+\\log\\sum_{j=1}^{K}e^{\\eta_j-m}, \\qquad m=\\max_j\\eta_j.\\]\n\n计算 softmax 概率时也可以进行同样的减法，而不会改变概率值。"
    },
    {
      "heading": "假设与局限",
      "text": "函数形式\n\n基本模型假设，每一对类别之间的对数概率比都是所提供特征的线性函数。这并不要求原始测量变量本身与这些对数概率比具有线性关系：可以将多项式项、变换项和交互项作为额外特征输入模型。\n\n不过，不恰当的特征设定可能造成系统性的预测误差。该模型不要求预测变量服从正态分布，也不要求预测变量在各结果类别中的方差相等。\n\n无关替代项独立性\n\n多项 Logit 的一个典型性质是\n\n\\[\\frac{p_k(x)}{p_l(x)} = \\exp\\{\\eta_k(x)-\\eta_l(x)\\}.\\]\n\n对其他类别求和得到的归一化项被约去了。在选择行为的解释下，只要这两个相关类别的得分保持不变，它们的概率比就不依赖于其他备选项的得分。这一性质称为无关替代项独立性，简称 IIA。\n\n当备选项彼此高度可替代时，IIA 可能构成较强的限制。在交通方式选择中，新增一项与现有公交服务十分相似的公交服务，可能主要吸引原有公交服务的乘客，而不是按比例吸引所有出行方式的使用者。基本的多项 Logit 设定可能无法捕捉这种替代模式。\n\nIIA 是对相对选择概率的限制，并不是说各结果类别在统计上相互独立。互斥类别的指示变量必然相互依赖。\n\n具有更丰富替代结构的选择模型包括嵌套 Logit、混合 Logit 和多项 Probit。在标准的随机效用推导中，当效用扰动是相互独立、具有相同尺度参数且同服从 I 型极值分布的随机变量时，就会得到多项 Logit 概率。\n\n分离与稀疏类别\n\n如果预测变量能够充分区分各结果类别，那么随着某些系数无限增大，似然仍可能不断提高。在完全分离或准完全分离的情况下，有限的无惩罚最大似然估计可能不存在。\n\n稀有类别、稀疏的预测变量组合以及严重的共线性，也可能导致很大的不确定性或不稳定的估计。优化器报告收敛，本身并不能证明模型能够得到良好识别，也不能证明其估计可靠。\n\n依赖性与抽样\n\n普通的乘积似然将各观测视为条件独立。对于重复测量、整群样本和调查抽样设计，需要对模型、估计程序或不确定性的计算作出适当调整。\n\n依赖于结果的抽样可能改变拟合概率与总体概率之间的关系。因此，如果不考虑抽样方案，使用选择性抽样所得训练数据得到的概率预测，不一定代表总体概率。"
    },
    {
      "heading": "正则化与不确定性",
      "text": "正则化在拟合目标中加入惩罚项。一种常见形式是\n\n\\[\\mathcal{L}_{\\lambda}(\\theta) = \\mathcal{L}(\\theta) + \\lambda\\sum_k\\|\\beta_k\\|_2^2,\\]\n\n其中，\\(\\beta_k\\) 包含斜率系数，\\(\\lambda\\ge 0\\) 控制收缩程度。截距通常不纳入惩罚。也可以改用 \\(L_1\\) 惩罚，以促使某些系数变为零。\n\n惩罚可以提高估计的稳定性，并减少过拟合。其效果取决于具体的参数化方式：对参考类别参数化中的系数施加惩罚，通常不等价于对所有类别的系数向量对称地施加惩罚。因此，如果更换参考类别时没有相应地变换惩罚项，拟合概率就可能发生变化。\n\n对于可识别且有限的估计，在标准正则条件下，信息矩阵的逆可提供估计系数的近似协方差矩阵。据此可以计算标准误、构造置信区间并进行统计假设检验。似然比检验用于比较嵌套模型，而重抽样则可用于评估预测概率等派生量的不确定性。\n\n贝叶斯推断则将似然与系数的先验分布相结合，得到参数和预测的后验不确定性。"
    },
    {
      "heading": "预测与评估",
      "text": "一种常见的分类规则是选择拟合概率最高的类别：\n\n\\[\\hat y(x)=\\arg\\max_k p_k(x).\\]\n\n当所有误分类的代价相同时，这一规则使条件误分类概率最小。若误分类代价不同，最优决策规则也可能不同。\n\n评估时应区分硬标签分类与概率预测。准确率和混淆矩阵描述预测标签的表现；对数损失评估赋予实际观测类别的概率。校准则考察预测概率是否与实际观测到的结果频率一致。\n\n留出集评估或交叉验证可用于评估泛化能力，并选择正则化强度。当类别不平衡时，总体准确率可能掩盖模型在稀有结果上的不佳表现，因此分类别报告结果很有参考价值。"
    },
    {
      "heading": "相关模型与应用",
      "text": "多项逻辑回归属于更广泛的广义线性模型框架，采用分类或多项分布响应以及向量值 logit 连接函数。它与相近模型的主要区别如下：\n\n- **有序逻辑回归：**利用结果的顺序，且通常假设跨越不同累积类别分界点的效应相同。多项逻辑回归不利用这种顺序。\n- **一对其余逻辑回归：**分别拟合多个二元模型。这些模型的原始概率不一定加总为一，其拟合目标通常也不同于联合的多项似然。\n- **条件 Logit 选择模型：**通常使用备选项特有的属性和共享系数来表示效用。其术语与多项 Logit 有所重叠，但数据组织方式和系数约束可能不同。\n- **神经网络分类器：**当输入特征固定时，线性得分层后接 softmax 就是多项逻辑回归。如果人工神经网络还要学习特征，那么整体模型通常是非线性的，其训练目标也不一定仍为凸函数。\n\n应用领域包括出行方式选择、产品选择、文档分类，以及其他结果属于互斥名义类别的问题。该模型常被用作可解释的基准模型：它能给出一致的概率分布，同时对对数概率比和替代模式施加明确的限制。"
    }
  ],
  "links": [
    "logistic-regression",
    "softmax-function",
    "machine-learning",
    "conditional-probability",
    "statistical-identification",
    "odds-ratio",
    "causal-inference",
    "likelihood-function",
    "maximum-likelihood-estimation",
    "cross-entropy",
    "convex-function",
    "gradient",
    "hessian-matrix",
    "newtons-method",
    "stochastic-gradient-descent",
    "numerical-stability",
    "regularization",
    "covariance-matrix",
    "standard-error",
    "confidence-interval",
    "statistical-hypothesis-testing",
    "bayesian-inference",
    "cross-validation",
    "generalized-linear-model",
    "artificial-neural-network"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}