偏相关是统计学中衡量两个变量之间关联的一种指标,衡量的是从两者中分别剔除一组指定的其他变量的线性影响后所剩余的关联。它通常定义为分别将两个变量对控制变量进行线性回归后,所得残差之间的皮尔逊相关关系。只要两组残差的方差均为正,其取值就在 −1 与 1 之间。偏相关描述的是调整后的线性关联;它本身既不能确立因果关系,也不能确立给定控制变量后的条件独立性。
定义
设 X 和 Y 为随机变量,Z=(Z1,…,Zk)T 为控制变量向量。假定所有变量的二阶矩均有限。定义残差
U=X−XZ,V=Y−YZ,
其中,XZ 和 YZ 是根据 Z 对 X 和 Y 所作的总体最佳线性预测,且均包含截距项。总体偏相关系数为
ρXY⋅Z=Corr(U,V)=Var(U)Var(V)Cov(U,V).
这里,协方差衡量共同变动,而方差衡量调整后各变量剩余的变异。
“控制 Z”是指剔除这些线性预测所能捕捉的成分。一般而言,这并不意味着比较 Z 取值完全相同的观测,也不意味着剔除与 Z 之间一切可能的非线性关系。
控制一个变量的偏相关称为一阶偏相关;控制 k 个变量的偏相关称为 k 阶偏相关。普通的、未经调整的相关有时称为零阶相关。
计算
一个控制变量
对于三个变量 X,Y,Z,偏相关系数为
ρXY⋅Z=(1−ρXZ2)(1−ρYZ2)ρXY−ρXZρYZ.
相应的样本公式将总体相关系数 ρ 替换为样本相关系数 r。
例如,假设
rXY=0.70,rXZ=0.80,rYZ=0.60.
则
rXY⋅Z=(1−0.802)(1−0.602)0.70−(0.80)(0.60)≈0.458.
因此,残差之间的线性关联弱于原始相关,但仍为正。调整也可能增强相关或使其符号反转;调整本身并不是一种必然减弱关联的程序。
如果任一变量都能由控制变量完美地线性预测,其残差方差就为零,此时偏相关无定义。
样本中的残差计算
对于 n 个观测:
- 将 X 对这 k 个控制变量进行回归,并包含截距项。
- 将 Y 对相同的控制变量进行回归,同样包含截距项。
- 计算两个残差向量之间的皮尔逊相关系数。
这些回归通常采用普通最小二乘法拟合。两次回归及残差相关系数的计算必须使用同一组观测。
从几何上看,回归剔除了两个数据向量在控制变量与截距项所张成空间上的正交投影。偏相关系数就是剩余残差向量之间夹角的余弦。这一解释既说明了偏相关关于 X 和 Y 的对称性,也说明了其取值为何限于区间 [−1,1]。
协方差与逆矩阵公式
令 W=(X,Y)T,并将 (W,Z) 的协方差矩阵分块表示为
Σ=(ΣWWΣZWΣWZΣZZ).
若 ΣZZ 可逆,则对 Z 进行线性调整后,W 的残差协方差矩阵为
S=ΣWW−ΣWZΣZZ−1ΣZW.
因此,
ρXY⋅Z=S11S22S12.
对于协方差矩阵 Σ 为正定矩阵的一整组变量,令 Ω=Σ−1,即其逆矩阵,也称为精度矩阵。则
ρij⋅all other variables=−ΩiiΩjjΩij.
该公式控制了矩阵中包含的所有其他变量。其结果不一定等于仅控制某个选定子集所得的偏相关系数。
与回归的关系
偏相关与多元线性回归密切相关。在模型
Y=α+βXX+γTZ+ε,
中,将残差化后的 Y 对残差化后的 X 进行回归,即可得到 X 的拟合系数。因此,
βX=rXY⋅ZsUsV,
其中,sU 和 sV 为残差的标准差。
因此,当回归系数与偏相关系数均有定义时,两者符号相同。不过,它们的尺度与解释有所不同:
- 回归系数衡量的是在给定模型的条件下,X 每变化一个单位时,Y 以原始单位计量的变化。
- 偏相关衡量的是残差之间不受计量单位影响的关联。
- 偏相关系数一般不等于多元回归中的标准化系数。
偏相关系数的平方也有回归方面的解释。令 Rreduced2 为将 Y 对 Z 进行回归所得的决定系数,令 Rfull2 为将 Y 对 X 和 Z 进行回归所得的决定系数。在包含截距项且使用相同观测的情况下,
rXY⋅Z2=1−Rreduced2Rfull2−Rreduced2.
因此,偏相关系数的平方表示加入 X 后所解释的平方和,占简化模型未解释平方和的比例,而不是占 Y 原始总变异的比例。
统计推断
对于假设检验
H0:ρXY⋅Z=0,
通常采用的检验统计量为
t=rXY⋅Z1−rXY⋅Z2n−k−2.
若观测彼此独立且来自非奇异的多元正态分布,则在原假设成立时,该统计量服从自由度为 n−k−2 的学生t分布。在经典正态误差线性回归模型下,对 X 的系数进行检验也会得到相同的检验。
可以利用费希尔变换构造近似置信区间,
z=arctanh(rXY⋅Z),
其近似标准误为
SE(z)≈n−k−31.
在这一变换尺度上构造区间后,再用双曲正切函数将其变换回原尺度。这是大样本近似,而不是普遍适用的无分布假设区间。
观测之间存在依赖、误差方差不恒定或模型设定错误,都可能使通常的检验和区间失效。同时检验多个偏相关系数还会带来多重检验问题。
条件相关与独立性
必须将偏相关与条件分布中的相关区分开来。条件相关
Corr(X,Y∣Z=z)
可能随 z 而变化。相比之下,普通偏相关通过线性残差化得到的是一个单一数值。
对于联合服从多元正态分布的变量,条件协方差矩阵不依赖于 Z 的实际取值,且偏相关等于条件相关。在这种情况下,
ρXY⋅Z=0⟺X and Y are conditionally independent given Z.
除此之外,偏相关为零一般并不意味着条件独立。即使残差协方差为零,非线性依赖仍可能存在。
反过来,条件独立一般也不意味着普通偏相关为零。例如,设 Z 服从标准正态分布,并定义
X=Z2+εX,Y=Z2+εY,
其中,两个噪声变量的均值均为零,方差均为有限正数,且彼此独立,并与 Z 独立。给定 Z 时,X 和 Y 相互独立。然而,将它们分别对 Z 进行线性回归并不能剔除共有的二次项,因此线性控制 Z 后的偏相关为正。
将线性预测替换为条件期望,会定义出另一种基于残差的度量。即便如此,残差相关为零也不能作为条件独立性的一般检验。
相关度量与应用
半偏相关
半偏相关又称部分相关,只从两个变量中的一个剔除控制变量的影响。例如,
Corr(Y,U),U=X−XZ,
对 X 进行了残差化,但保持 Y 不变。
将 X 加入 Y 对 Z 的回归时,这一半偏相关系数的平方等于 R2 的增量。而偏相关则将这一增量表示为相对于简化模型未解释变异的比例。半偏相关一般不具有关于两个变量的对称性。
图模型
在高斯概率图模型中,精度矩阵的某个非对角元素为零,对应于给定所有其余变量后,相关的两个变量条件独立。因此,偏相关为高斯条件独立图中各条边所表示的关联提供了标准化度量。
在高维数据中,样本协方差矩阵可能是奇异的,或估计不准确。采用正则化的方法可以估计具有特定结构的精度矩阵,但由此得到的偏相关取决于估计方法和调参选择。
基于秩的变体
一种常见的基于秩的变体,是先将观测值替换为秩,再用秩变量计算偏相关。这可以降低对测量尺度及某些极端观测值的敏感性。不过,它仍然是在所选的秩尺度上进行线性调整,并不是条件独立性的一般度量。
解释与局限
偏相关可用于描述观察性研究中调整后的关联、比较预测变量,以及研究多变量依赖关系。其解释取决于纳入了哪些控制变量,以及如何对这些变量的影响建模。
重要的局限包括:
- 调整并不自动赋予因果含义。 剔除与已测量控制变量的关联,本身并不能消除混杂或识别因果效应。因果推断所需的假设超出了相关计算本身。
- 控制变量的选择可能引入偏差。 对两个变量的共同结果进行调整,可能通过选择偏差产生关联。对中间变量进行调整,则可能剔除所研究路径的一部分。
- 默认的调整方式是线性且可加的。 除非在控制模型中纳入非线性项和交互项,否则这些影响不会被剔除。
- 测量误差不可忽视。 控制变量测量不准确时,可能仍会留下相当程度的残余混杂。
- 冗余控制变量可能导致不稳定。 控制变量之间高度相关,或残差方差非常小,都可能使估计对抽样变异和数值误差十分敏感。
- 离群值和缺失数据可能改变结果。 残差相关同样具有皮尔逊相关和最小二乘拟合对离群值的敏感性,而使用不同的完整观测集合可能得到不可直接比较的估计。
因此,要完整界定一个偏相关,不仅需要指明所关注的两个变量,还需要指明控制变量集合、调整形式,以及计算所依据的总体或样本。