多项逻辑回归是一种统计模型,用于预测属于多个互斥、无序类别之一的结果。它是二元逻辑回归的扩展,为每个类别赋予一个概率,并约束这些概率之和为一。该模型将类别间的对数概率比表示为预测变量的线性函数;等价地,也可以用Softmax函数对各类别的线性得分进行变换。它既用于统计推断,也用于机器学习中的分类任务。
模型设定
设 为具有 个可能取值的分类结果, 包含各预测变量。通过定义增广预测变量向量,可以在模型中加入截距:
为每个类别 定义得分
其中, 为系数向量。模型给出的类别 的条件概率为
当得分为有限值时,每个概率都严格介于零和一之间,且
这些类别不必具有顺序。用于编码类别的数字只是标签,而非定量测量值。
参考类别参数化
不加约束的 softmax 表示存在冗余:给所有系数向量加上同一个向量 ,所有概率都保持不变。这就产生了统计识别问题。
一种常见的解决办法是选择类别 作为参考类别,并令 。此时模型变为
相应的概率为
以及
当模型包含 个预测变量和一个截距时,这种参数化共有 个系数。另一种识别约定是施加约束 。
更换参考类别会改变系数的表示,但对于除此之外等价的无惩罚模型,不会改变拟合概率。当 时,该形式退化为普通的二元逻辑回归。
解释
类别概率比
对于任意两个类别 和 ,有
因此,当预测变量 增加一个单位,而其他预测变量保持不变时,概率比 将乘以
当 为参考类别时,这一乘数为 。在多项 Logit 软件中,它通常称为相对风险比。它比较的是两个结果类别的概率,而不是类别 的概率与其余所有类别合计概率的比值。
因此,它的解释不同于将某类别与其余所有类别进行比较时所用的优势比
例如,考虑出行方式包含汽车、公交车和自行车三个类别,并以汽车为参考类别。如果公交车方程中出行距离的系数为 ,则意味着在其他预测变量保持不变时,距离每增加一个单位,模型给出的公交车与汽车的概率比就乘以 。这并不意味着乘坐公交车的概率增加了 40 个百分点。
对概率的影响
仅凭系数的正负,无法确定相应类别概率的变化方向。当得分为线性形式时,
概率的变化取决于所有类别的系数以及预测变量的当前取值。因此,相对于参考类别为正的系数,也可能对应着对该类别概率的负向影响。
概率尺度上的效应通常以导数、在观测到的预测变量取值上求得的平均导数,或指定预测变量取值之间的离散变化来报告。这些量描述的是模型中的关联;若要作因果解释,还需要额外假设和适当的因果推断框架。
似然与估计
对于观测 ,定义
在各观测条件独立的假设下,似然函数为
对数似然为
最大似然估计使这一表达式达到最大值。等价地,它使负对数似然达到最小值:
这就是独热编码类别标签的交叉熵损失之和。
同一个概率模型也适用于分组数据。如果一组具有相同预测变量取值的观测,其各类别计数为 ,那么除去一个与参数无关的多项式系数,该组对对数似然的贡献为
优化
对于固定的预测变量,负对数似然是系数参数的凸函数。在包含所有类别的表示中,它对类别 的系数向量的梯度为
其海森矩阵的第 个分块为
其中, 时 等于一,否则等于零。
常用的拟合方法包括牛顿法、拟牛顿算法和随机梯度下降。凸性排除了非全局最优的局部极小值,但并不保证存在有限且唯一的无惩罚估计。
数值稳定性
当得分很大时,直接计算指数可能导致溢出。为保证数值稳定性,实际实现中使用以下恒等式:
计算 softmax 概率时也可以进行同样的减法,而不会改变概率值。
假设与局限
函数形式
基本模型假设,每一对类别之间的对数概率比都是所提供特征的线性函数。这并不要求原始测量变量本身与这些对数概率比具有线性关系:可以将多项式项、变换项和交互项作为额外特征输入模型。
不过,不恰当的特征设定可能造成系统性的预测误差。该模型不要求预测变量服从正态分布,也不要求预测变量在各结果类别中的方差相等。
无关替代项独立性
多项 Logit 的一个典型性质是
对其他类别求和得到的归一化项被约去了。在选择行为的解释下,只要这两个相关类别的得分保持不变,它们的概率比就不依赖于其他备选项的得分。这一性质称为无关替代项独立性,简称 IIA。
当备选项彼此高度可替代时,IIA 可能构成较强的限制。在交通方式选择中,新增一项与现有公交服务十分相似的公交服务,可能主要吸引原有公交服务的乘客,而不是按比例吸引所有出行方式的使用者。基本的多项 Logit 设定可能无法捕捉这种替代模式。
IIA 是对相对选择概率的限制,并不是说各结果类别在统计上相互独立。互斥类别的指示变量必然相互依赖。
具有更丰富替代结构的选择模型包括嵌套 Logit、混合 Logit 和多项 Probit。在标准的随机效用推导中,当效用扰动是相互独立、具有相同尺度参数且同服从 I 型极值分布的随机变量时,就会得到多项 Logit 概率。
分离与稀疏类别
如果预测变量能够充分区分各结果类别,那么随着某些系数无限增大,似然仍可能不断提高。在完全分离或准完全分离的情况下,有限的无惩罚最大似然估计可能不存在。
稀有类别、稀疏的预测变量组合以及严重的共线性,也可能导致很大的不确定性或不稳定的估计。优化器报告收敛,本身并不能证明模型能够得到良好识别,也不能证明其估计可靠。
依赖性与抽样
普通的乘积似然将各观测视为条件独立。对于重复测量、整群样本和调查抽样设计,需要对模型、估计程序或不确定性的计算作出适当调整。
依赖于结果的抽样可能改变拟合概率与总体概率之间的关系。因此,如果不考虑抽样方案,使用选择性抽样所得训练数据得到的概率预测,不一定代表总体概率。
正则化与不确定性
正则化在拟合目标中加入惩罚项。一种常见形式是
其中, 包含斜率系数, 控制收缩程度。截距通常不纳入惩罚。也可以改用 惩罚,以促使某些系数变为零。
惩罚可以提高估计的稳定性,并减少过拟合。其效果取决于具体的参数化方式:对参考类别参数化中的系数施加惩罚,通常不等价于对所有类别的系数向量对称地施加惩罚。因此,如果更换参考类别时没有相应地变换惩罚项,拟合概率就可能发生变化。
对于可识别且有限的估计,在标准正则条件下,信息矩阵的逆可提供估计系数的近似协方差矩阵。据此可以计算标准误、构造置信区间并进行统计假设检验。似然比检验用于比较嵌套模型,而重抽样则可用于评估预测概率等派生量的不确定性。
贝叶斯推断则将似然与系数的先验分布相结合,得到参数和预测的后验不确定性。
预测与评估
一种常见的分类规则是选择拟合概率最高的类别:
当所有误分类的代价相同时,这一规则使条件误分类概率最小。若误分类代价不同,最优决策规则也可能不同。
评估时应区分硬标签分类与概率预测。准确率和混淆矩阵描述预测标签的表现;对数损失评估赋予实际观测类别的概率。校准则考察预测概率是否与实际观测到的结果频率一致。
留出集评估或交叉验证可用于评估泛化能力,并选择正则化强度。当类别不平衡时,总体准确率可能掩盖模型在稀有结果上的不佳表现,因此分类别报告结果很有参考价值。
相关模型与应用
多项逻辑回归属于更广泛的广义线性模型框架,采用分类或多项分布响应以及向量值 logit 连接函数。它与相近模型的主要区别如下:
- **有序逻辑回归:**利用结果的顺序,且通常假设跨越不同累积类别分界点的效应相同。多项逻辑回归不利用这种顺序。
- **一对其余逻辑回归:**分别拟合多个二元模型。这些模型的原始概率不一定加总为一,其拟合目标通常也不同于联合的多项似然。
- **条件 Logit 选择模型:**通常使用备选项特有的属性和共享系数来表示效用。其术语与多项 Logit 有所重叠,但数据组织方式和系数约束可能不同。
- **神经网络分类器:**当输入特征固定时,线性得分层后接 softmax 就是多项逻辑回归。如果人工神经网络还要学习特征,那么整体模型通常是非线性的,其训练目标也不一定仍为凸函数。
应用领域包括出行方式选择、产品选择、文档分类,以及其他结果属于互斥名义类别的问题。该模型常被用作可解释的基准模型:它能给出一致的概率分布,同时对对数概率比和替代模式施加明确的限制。