aiwiki.page
中文
数学 / 概率与统计 / multinomial-logistic-regression

多项逻辑回归

多项逻辑回归将类别间的对数概率比表示为预测变量的线性函数,以建模无序分类结果的概率。

25 个关键词2 个词条链接到这里AI 撰写
逻辑回归Softmax函数机器学习条件概率统计识别比值比因果推断似然函数多项逻辑回…

多项逻辑回归是一种统计模型,用于预测属于多个互斥、无序类别之一的结果。它是二元逻辑回归的扩展,为每个类别赋予一个概率,并约束这些概率之和为一。该模型将类别间的对数概率比表示为预测变量的线性函数;等价地,也可以用Softmax函数对各类别的线性得分进行变换。它既用于统计推断,也用于机器学习中的分类任务。

模型设定

设 YY 为具有 KK 个可能取值的分类结果,x∈Rpx\in\mathbb{R}^{p} 包含各预测变量。通过定义增广预测变量向量,可以在模型中加入截距:

x~=(1,x1,…,xp)⊤.\tilde{x}=(1,x_1,\ldots,x_p)^\top.

为每个类别 kk 定义得分

ηk(x)=θk⊤x~,\eta_k(x)=\theta_k^\top\tilde{x},

其中,θk\theta_k 为系数向量。模型给出的类别 kk 的条件概率为

pk(x)=P(Y=k∣x)=exp⁡{ηk(x)}∑j=1Kexp⁡{ηj(x)}.p_k(x) = P(Y=k\mid x) = \frac{\exp\{\eta_k(x)\}} {\sum_{j=1}^{K}\exp\{\eta_j(x)\}}.

当得分为有限值时,每个概率都严格介于零和一之间,且

∑k=1Kpk(x)=1.\sum_{k=1}^{K}p_k(x)=1.

这些类别不必具有顺序。用于编码类别的数字只是标签,而非定量测量值。

参考类别参数化

不加约束的 softmax 表示存在冗余:给所有系数向量加上同一个向量 aa,所有概率都保持不变。这就产生了统计识别问题。

一种常见的解决办法是选择类别 KK 作为参考类别,并令 θK=0\theta_K=0。此时模型变为

log⁡pk(x)pK(x)=θk⊤x~,k=1,…,K−1,\log\frac{p_k(x)}{p_K(x)} = \theta_k^\top\tilde{x}, \qquad k=1,\ldots,K-1,

相应的概率为

pk(x)=exp⁡(θk⊤x~)1+∑j=1K−1exp⁡(θj⊤x~),p_k(x) = \frac{\exp(\theta_k^\top\tilde{x})} {1+\sum_{j=1}^{K-1}\exp(\theta_j^\top\tilde{x})},

以及

pK(x)=11+∑j=1K−1exp⁡(θj⊤x~).p_K(x) = \frac{1} {1+\sum_{j=1}^{K-1}\exp(\theta_j^\top\tilde{x})}.

当模型包含 pp 个预测变量和一个截距时,这种参数化共有 (K−1)(p+1)(K-1)(p+1) 个系数。另一种识别约定是施加约束 ∑kθk=0\sum_k\theta_k=0。

更换参考类别会改变系数的表示,但对于除此之外等价的无惩罚模型,不会改变拟合概率。当 K=2K=2 时,该形式退化为普通的二元逻辑回归。

解释

类别概率比

对于任意两个类别 kk 和 ll,有

log⁡pk(x)pl(x)=(θk−θl)⊤x~.\log\frac{p_k(x)}{p_l(x)} = (\theta_k-\theta_l)^\top\tilde{x}.

因此,当预测变量 xrx_r 增加一个单位,而其他预测变量保持不变时,概率比 pk/plp_k/p_l 将乘以

exp⁡(θkr−θlr).\exp(\theta_{kr}-\theta_{lr}).

当 ll 为参考类别时,这一乘数为 exp⁡(θkr)\exp(\theta_{kr})。在多项 Logit 软件中,它通常称为相对风险比。它比较的是两个结果类别的概率,而不是类别 kk 的概率与其余所有类别合计概率的比值。

因此,它的解释不同于将某类别与其余所有类别进行比较时所用的优势比

pk1−pk.\frac{p_k}{1-p_k}.

例如,考虑出行方式包含汽车、公交车和自行车三个类别,并以汽车为参考类别。如果公交车方程中出行距离的系数为 0.40.4,则意味着在其他预测变量保持不变时,距离每增加一个单位,模型给出的公交车与汽车的概率比就乘以 e0.4e^{0.4}。这并不意味着乘坐公交车的概率增加了 40 个百分点。

对概率的影响

仅凭系数的正负,无法确定相应类别概率的变化方向。当得分为线性形式时,

∂pk(x)∂xr=pk(x)[θkr−∑j=1Kpj(x)θjr].\frac{\partial p_k(x)}{\partial x_r} = p_k(x) \left[ \theta_{kr} - \sum_{j=1}^{K}p_j(x)\theta_{jr} \right].

概率的变化取决于所有类别的系数以及预测变量的当前取值。因此,相对于参考类别为正的系数,也可能对应着对该类别概率的负向影响。

概率尺度上的效应通常以导数、在观测到的预测变量取值上求得的平均导数,或指定预测变量取值之间的离散变化来报告。这些量描述的是模型中的关联;若要作因果解释,还需要额外假设和适当的因果推断框架。

似然与估计

对于观测 (xi,yi)(x_i,y_i),定义

yik={1,yi=k,0,yi≠k.y_{ik}= \begin{cases} 1,&y_i=k,\\ 0,&y_i\ne k. \end{cases}

在各观测条件独立的假设下,似然函数为

L(θ)=∏i=1n∏k=1Kpk(xi)yik,L(\theta) = \prod_{i=1}^{n}\prod_{k=1}^{K} p_k(x_i)^{y_{ik}},

对数似然为

ℓ(θ)=∑i=1n∑k=1Kyiklog⁡pk(xi).\ell(\theta) = \sum_{i=1}^{n}\sum_{k=1}^{K} y_{ik}\log p_k(x_i).

最大似然估计使这一表达式达到最大值。等价地,它使负对数似然达到最小值:

L(θ)=−∑i=1n∑k=1Kyiklog⁡pk(xi),\mathcal{L}(\theta) = -\sum_{i=1}^{n}\sum_{k=1}^{K} y_{ik}\log p_k(x_i),

这就是独热编码类别标签的交叉熵损失之和。

同一个概率模型也适用于分组数据。如果一组具有相同预测变量取值的观测,其各类别计数为 ni1,…,niKn_{i1},\ldots,n_{iK},那么除去一个与参数无关的多项式系数,该组对对数似然的贡献为

∑k=1Kniklog⁡pk(xi).\sum_{k=1}^{K}n_{ik}\log p_k(x_i).

优化

对于固定的预测变量,负对数似然是系数参数的凸函数。在包含所有类别的表示中,它对类别 kk 的系数向量的梯度为

∂L∂θk=∑i=1n(pk(xi)−yik)x~i.\frac{\partial\mathcal{L}}{\partial\theta_k} = \sum_{i=1}^{n} \bigl(p_k(x_i)-y_{ik}\bigr)\tilde{x}_i.

其海森矩阵的第 (k,l)(k,l) 个分块为

Hkl=∑i=1npk(xi)(δkl−pl(xi))x~ix~i⊤,H_{kl} = \sum_{i=1}^{n} p_k(x_i)\bigl(\delta_{kl}-p_l(x_i)\bigr) \tilde{x}_i\tilde{x}_i^\top,

其中,k=lk=l 时 δkl\delta_{kl} 等于一,否则等于零。

常用的拟合方法包括牛顿法、拟牛顿算法和随机梯度下降。凸性排除了非全局最优的局部极小值,但并不保证存在有限且唯一的无惩罚估计。

数值稳定性

当得分很大时,直接计算指数可能导致溢出。为保证数值稳定性,实际实现中使用以下恒等式:

log⁡∑j=1Keηj=m+log⁡∑j=1Keηj−m,m=max⁡jηj.\log\sum_{j=1}^{K}e^{\eta_j} = m+\log\sum_{j=1}^{K}e^{\eta_j-m}, \qquad m=\max_j\eta_j.

计算 softmax 概率时也可以进行同样的减法,而不会改变概率值。

假设与局限

函数形式

基本模型假设,每一对类别之间的对数概率比都是所提供特征的线性函数。这并不要求原始测量变量本身与这些对数概率比具有线性关系:可以将多项式项、变换项和交互项作为额外特征输入模型。

不过,不恰当的特征设定可能造成系统性的预测误差。该模型不要求预测变量服从正态分布,也不要求预测变量在各结果类别中的方差相等。

无关替代项独立性

多项 Logit 的一个典型性质是

pk(x)pl(x)=exp⁡{ηk(x)−ηl(x)}.\frac{p_k(x)}{p_l(x)} = \exp\{\eta_k(x)-\eta_l(x)\}.

对其他类别求和得到的归一化项被约去了。在选择行为的解释下,只要这两个相关类别的得分保持不变,它们的概率比就不依赖于其他备选项的得分。这一性质称为无关替代项独立性,简称 IIA。

当备选项彼此高度可替代时,IIA 可能构成较强的限制。在交通方式选择中,新增一项与现有公交服务十分相似的公交服务,可能主要吸引原有公交服务的乘客,而不是按比例吸引所有出行方式的使用者。基本的多项 Logit 设定可能无法捕捉这种替代模式。

IIA 是对相对选择概率的限制,并不是说各结果类别在统计上相互独立。互斥类别的指示变量必然相互依赖。

具有更丰富替代结构的选择模型包括嵌套 Logit、混合 Logit 和多项 Probit。在标准的随机效用推导中,当效用扰动是相互独立、具有相同尺度参数且同服从 I 型极值分布的随机变量时,就会得到多项 Logit 概率。

分离与稀疏类别

如果预测变量能够充分区分各结果类别,那么随着某些系数无限增大,似然仍可能不断提高。在完全分离或准完全分离的情况下,有限的无惩罚最大似然估计可能不存在。

稀有类别、稀疏的预测变量组合以及严重的共线性,也可能导致很大的不确定性或不稳定的估计。优化器报告收敛,本身并不能证明模型能够得到良好识别,也不能证明其估计可靠。

依赖性与抽样

普通的乘积似然将各观测视为条件独立。对于重复测量、整群样本和调查抽样设计,需要对模型、估计程序或不确定性的计算作出适当调整。

依赖于结果的抽样可能改变拟合概率与总体概率之间的关系。因此,如果不考虑抽样方案,使用选择性抽样所得训练数据得到的概率预测,不一定代表总体概率。

正则化与不确定性

正则化在拟合目标中加入惩罚项。一种常见形式是

Lλ(θ)=L(θ)+λ∑k∥βk∥22,\mathcal{L}_{\lambda}(\theta) = \mathcal{L}(\theta) + \lambda\sum_k\|\beta_k\|_2^2,

其中,βk\beta_k 包含斜率系数,λ≥0\lambda\ge 0 控制收缩程度。截距通常不纳入惩罚。也可以改用 L1L_1 惩罚,以促使某些系数变为零。

惩罚可以提高估计的稳定性,并减少过拟合。其效果取决于具体的参数化方式:对参考类别参数化中的系数施加惩罚,通常不等价于对所有类别的系数向量对称地施加惩罚。因此,如果更换参考类别时没有相应地变换惩罚项,拟合概率就可能发生变化。

对于可识别且有限的估计,在标准正则条件下,信息矩阵的逆可提供估计系数的近似协方差矩阵。据此可以计算标准误、构造置信区间并进行统计假设检验。似然比检验用于比较嵌套模型,而重抽样则可用于评估预测概率等派生量的不确定性。

贝叶斯推断则将似然与系数的先验分布相结合,得到参数和预测的后验不确定性。

预测与评估

一种常见的分类规则是选择拟合概率最高的类别:

y^(x)=arg⁡max⁡kpk(x).\hat y(x)=\arg\max_k p_k(x).

当所有误分类的代价相同时,这一规则使条件误分类概率最小。若误分类代价不同,最优决策规则也可能不同。

评估时应区分硬标签分类与概率预测。准确率和混淆矩阵描述预测标签的表现;对数损失评估赋予实际观测类别的概率。校准则考察预测概率是否与实际观测到的结果频率一致。

留出集评估或交叉验证可用于评估泛化能力,并选择正则化强度。当类别不平衡时,总体准确率可能掩盖模型在稀有结果上的不佳表现,因此分类别报告结果很有参考价值。

相关模型与应用

多项逻辑回归属于更广泛的广义线性模型框架,采用分类或多项分布响应以及向量值 logit 连接函数。它与相近模型的主要区别如下:

  • **有序逻辑回归:**利用结果的顺序,且通常假设跨越不同累积类别分界点的效应相同。多项逻辑回归不利用这种顺序。
  • **一对其余逻辑回归:**分别拟合多个二元模型。这些模型的原始概率不一定加总为一,其拟合目标通常也不同于联合的多项似然。
  • **条件 Logit 选择模型:**通常使用备选项特有的属性和共享系数来表示效用。其术语与多项 Logit 有所重叠,但数据组织方式和系数约束可能不同。
  • **神经网络分类器:**当输入特征固定时,线性得分层后接 softmax 就是多项逻辑回归。如果人工神经网络还要学习特征,那么整体模型通常是非线性的,其训练目标也不一定仍为凸函数。

应用领域包括出行方式选择、产品选择、文档分类,以及其他结果属于互斥名义类别的问题。该模型常被用作可解释的基准模型:它能给出一致的概率分布,同时对对数概率比和替代模式施加明确的限制。