多重共线性是统计学中的一种现象,指统计模型中的两个或多个预测变量之间存在精确或近似的线性关系。在线性回归中,精确多重共线性使所有回归系数无法得到唯一估计,而近似多重共线性则可能使单个系数的估计不够精确,并对数据的微小变化十分敏感。多重共线性涉及预测变量彼此之间的关系,而非它们与结果变量之间的关系,也不一定妨碍准确预测。
数学定义
考虑线性回归模型
其中, 是 维结果向量, 是 的设计矩阵, 包含回归系数, 包含误差。 的各列表示预测变量;若模型包含截距,则也包括截距列。
如果存在非零向量 ,使得
则存在精确多重共线性。此时, 的各列不满足线性无关,其秩小于 。等价地说,至少有一列是其余列的线性组合。
近似多重共线性也常称为近多重共线性,指存在某个非零 ,使得 相对于 和 的尺度而言很小。矩阵仍可能保持满列秩,但对于某些系数组合所包含的信息很少。
这一区别十分重要:精确依赖是一种代数性质,而近似依赖在实践中的严重程度则取决于预测变量的尺度、样本量、误差变异程度以及所要估计的量。
为什么两两相关性不足以判断
两个预测变量之间的相关关系若很强,即相关系数的绝对值很大,可能提示存在多重共线性,但这并非必要条件。例如,假设 和 是相互独立、经过中心化且方差相等的预测变量,并且
这三列之间存在精确依赖,但 与另外两个变量的相关系数的绝对值都不等于 。
更一般地,一个预测变量可能由其他多个预测变量的组合很好地近似,却与其中任何单个变量都没有很强的相关性。因此,仅凭两两相关系数表无法排除多重共线性。
对系数估计的影响
精确依赖与不可识别性
当 满列秩时,普通最小二乘法估计量为
存在精确多重共线性时, 没有逆矩阵,因此该表达式无定义。
最小二乘问题仍然有解,但系数向量并不唯一。如果 ,则对任意实数 ,都有
。因此,多个系数向量会产生完全相同的拟合值。这是一个统计识别问题:观测到的设计无法区分这些系数向量。
虽然系数不唯一,但最小二乘拟合向量是唯一的,因为它是 在 的列空间上的正交投影。某些系数组合也可能仍然可以识别。
例如,如果 ,则
数据可以识别 ,却无法分别识别 和 。
软件可能通过删除某些列、施加约束,或利用广义逆选取一个解来处理精确依赖。这类约定并不能为原本不可识别的系数提供信息。
近似依赖与不确定性
假设 满列秩,且误差满足
普通最小二乘估计量的条件协方差矩阵为
近似依赖使系数空间中某些方向难以被准确确定。由此得到的估计可能具有较大的标准误和较宽的置信区间。增加、删除观测值,或对观测值施加微小扰动,都可能使系数的大小甚至符号发生明显变化。
在上述条件均值为零的假设下,多重共线性本身不会使普通最小二乘法产生估计量的偏差。它影响的是精度,而不会自动使估计值系统性地偏离真值。它本身也不意味着存在内生性;内生性涉及预测变量与误差项之间的关系。
因此,一个模型可能有充分证据表明一组预测变量具有联合影响,但对单个系数的检验却无法为各变量的独立贡献提供多少证据。
方差膨胀因子
一种常用的诊断指标是方差膨胀因子(VIF)。在包含截距的普通最小二乘模型中,将预测变量 对其余所有预测变量进行回归,并包含截距。如果该辅助回归的决定系数为 ,则
在经典的误差方差恒定假设下,
这一区分揭示了影响精度的三个因素:
- 误差方差 ;
- 预测变量 在观测数据中的离散程度;
- 其余预测变量对 的解释程度。
VIF 为 表示,中心化后的该预测变量与其他中心化后的预测变量正交。VIF 为 表示,在误差方差和该预测变量的离均差平方和保持不变时,其系数方差是相应正交设计下的五倍。其标准误增至原来的 倍,而不是 倍。
或 等阈值常被用作初步筛查的惯例,但并非普遍适用的决策规则。如果数据集包含足够的信息,较高的 VIF 不一定使估计失去可用性;反之,较低的 VIF 也不能保证置信区间较窄。其倒数
有时称为容忍度。
几何与数值解释
奇异值分解提供了一种有用的描述:
精确多重共线性对应于至少一个奇异值为零。近似多重共线性则对应于某个奇异值相对于最大奇异值很小。
中相应的列描述了设计难以准确确定的系数组合。对于满列秩的 ,
因此,小奇异值会直接导致特定方向上的较大不确定性。
谱条件数为
较大的值表示对扰动较为敏感。其解释取决于尺度:用数值大得多的单位表示某个预测变量,就可能产生较大的条件数,而不意味着标准化后的预测变量之间存在实质性冗余。因此,通常会将基于缩放后设计矩阵计算的条件指数与其他诊断指标结合考察。
统计不确定性与数值稳定性不足所导致的问题相互关联,但并不相同。稳定的算法可以减少计算误差,却无法增加数据中的信息。尤其是,通常应优先使用QR分解或奇异值分解,而不是显式构造 再求逆,因为该矩阵的谱条件数是 的谱条件数的平方。
常见来源
冗余编码与核算恒等式
精确依赖往往源于模型的构造方式。如果在纳入截距的同时,又为一个分类变量的每个类别都设置指示变量,就会产生依赖,因为这些指示变量之和等于截距列。这通常称为虚拟变量陷阱。
其他例子包括同时纳入:
- 总量及其全部组成部分;
- 以两种单位表示的同一测量值;
- 某一构成中所有部分的比例以及截距。
这些情况通常需要明确选择参照类别、施加约束,或采用其他参数化方式。
相关测量与受限样本
预测变量可能衡量的是密切相关的特征,例如身体大小的若干维度,或经济活动的多个指标。它们原则上未必冗余,但在某个特定样本中,它们之间的独立变异可能很少。
受限样本也可能产生很强的依赖关系,而这种关系在更广泛的总体中可能较弱。反复收集预测变量之间关系基本相同的观测值,可能只能缓慢提高精度,而无法显著增强区分各自效应的能力。
多项式项、交互项与趋势
如果一个预测变量的取值局限在远离零的狭窄范围内,该变量与其平方可能高度相关。表示统计交互作用的乘积项同样可能与构成它的预测变量高度相关。
在时间序列中,多个预测变量可能因共同趋势而同步变化。多重共线性不同于非平稳性或误差相关所引起的问题,不过这些问题可能出现在同一个模型中,需要分别处理。
实际诊断
没有任何单一统计量能够完整刻画这一问题。诊断可以综合以下方法:
- **结构检查:**检查恒等关系、重复列、编码惯例,以及观测数量与参数数量之间的关系。
- **辅助回归与 VIF:**评估每个预测变量在多大程度上可以由其他预测变量解释。
- **奇异值与条件指数:**识别难以准确确定的列组合。
- **系数不确定性:**考察标准误、置信区间和联合检验,而不只是系数的符号。
- **敏感性分析:**检查在对观测值或模型设定进行合理调整时,估计结果如何变化。
如果 ,矩阵就不可能满列秩。即使 ,其他依赖关系也可能使设计矩阵秩亏。反过来,满秩矩阵也未必能提供精确的估计。
诊断结果还取决于模型的表示方式。增加或删除预测变量会改变 VIF,改变计量单位则可能改变未经缩放的条件数。这些指标描述的是拟合时所用的设计,而非变量本身不可改变的属性。
应对方法及其权衡
收集有助于区分效应的变异
实验设计可以通过分别改变各个预测变量来减弱依赖。在观测性研究中,如果新增观测值能够扩展预测变量的独立变异,它们对区分各自效应就最有帮助。
即使预测变量之间的相关性保持不变,在同一满秩设计分布下抽取更大的样本,也可以提高精度。但如果某种精确依赖在整个底层设计中始终成立,增加观测值并不能消除它。
重新参数化与中心化
可以用可识别的参数化形式替代冗余列。在其他情况下,估计一个综合效应,可能比区分设计无法辨别的各个效应更有意义。
中心化可以降低主效应列与多项式列或交互项列之间的相关性,但一般不能消除根本的信息限制。对于包含截距的加性模型,从预测变量中减去各自均值不会改变预测变量之间的相关性,也不会改变斜率系数的 VIF。在多项式模型和交互作用模型中,中心化会改变低阶系数的解释,并且可以在不改变模型拟合空间的情况下改善数值条件。
正则化与降维
岭回归最小化如下形式的目标函数:
其中,截距通常不纳入惩罚。惩罚项通过收缩数据支持较弱的系数方向来稳定估计。这会引入偏差,并改变偏差-方差权衡,但不会创造新的识别信息。
套索回归可以产生稀疏估计,但在高度相关的预测变量之间进行选择时,结果可能不稳定。弹性网络结合了不同的惩罚项,可能适用于成组的相关预测变量。
主成分分析可以用正交成分替代预测变量。只保留部分成分可以降低维度,但也可能丢弃与结果有关的信息,因为主成分的选取目标是解释预测变量的变异,而非结果变量的变异。由此得到的系数对应的也是预测变量的组合,而不是各个原始变量。
删除预测变量
删除多个冗余测量中的一个,可以简化预测模型。然而,仅因某个变量的 VIF 较高就将其删除,并不是普遍有效的策略。
在因果推断中,可能必须纳入某个变量才能处理混杂。删除该变量可能改变目标效应的解释,或引入遗漏变量偏差。两个变量能否合并,或其中一个能否省略,取决于科学问题和模型假设,而不仅仅取决于它们的相关性。
预测与解释
多重共线性对单个系数解释的损害,往往大于对预测的损害。当两个预测变量几乎总是同步变化时,它们各自的系数可能不稳定,但其综合贡献仍可能得到较准确的确定。
对于一个新的预测变量向量 ,在经典模型下,估计平均响应的条件方差为
当 符合观测数据中得到充分体现的变量组合关系时,即使某些单个系数的方差很大,这一方差仍可能很小。
当新观测值偏离这些关系时,预测的可靠性就会降低。如果训练模型时,两个预测变量几乎总是同时上升,那么该模型对于一个变量上升、另一个保持不变时会发生什么,可能提供不了多少信息。因此,在观测到的预测变量分布范围内取得令人满意的预测表现,并不能证明各预测变量的独立效应已得到精确估计。