弗里施–沃–洛维尔定理是线性回归中的一个结论:要得到某一组回归变量的系数,可以先从因变量和这组回归变量中分别剔除其余回归变量的线性影响,再将所得残差相互进行回归。这一过程称为剔除法或残差化,得到的目标系数和最终残差与完整的普通最小二乘法回归完全相同。该定理是一个代数恒等式,不要求误差服从正态分布,也不要求统计模型设定正确或具有因果解释。
定理表述
考虑回归模型
y=Xβ+Zγ+ε,
其中:
- y 是 n×1 的因变量向量;
- X 是由所关注系数对应的回归变量组成的 n×k 矩阵;
- Z 是由控制变量组成的 n×m 矩阵;
- β 和 γ 是系数向量。
假设合并后的设计矩阵 [XZ] 具有满列秩。如需截距项,应将其作为一列纳入其中一个分块,通常纳入 Z。
定义投影到 Z 的列空间上的投影矩阵及其残差生成矩阵:
PZ=Z(Z⊤Z)−1Z⊤,MZ=In−PZ,
其中,In 是单位矩阵,⊤ 表示矩阵转置。
该定理指出,完整回归中 β 的估计值为
β^=(X⊤MZX)−1X⊤MZy.
等价地,定义
y=MZy,X=MZX.
则
β^=(X⊤X)−1X⊤y.
因此,系数向量可以通过以下三个步骤计算:
- 将 y 对 Z 回归,保留残差 y。
- 将 X 的每一列对 Z 回归,保留各列残差,组成 X。
- 将 y 对 X 回归,不另加截距项。
如果 Z 包含截距项,所有残差化后的变量的样本均值都已为零。不含截距项的形式始终是该定理的一般表述,包括 Z 不含截距项的情形。
完整回归的残差向量还满足
ε^=y−Xβ^−Zγ^=y−Xβ^.
因此,完整回归与残差化回归具有相同的残差平方和。
通过对控制变量系数求最小值进行证明
普通最小二乘法最小化的是欧几里得范数的平方:
β,γmin∥y−Xβ−Zγ∥2.
对于任意固定的 β,使目标函数最小的 γ 为
γ^(β)=(Z⊤Z)−1Z⊤(y−Xβ).
将此表达式代入目标函数,得到
βmin∥MZ(y−Xβ)∥2=βmin∥y−Xβ∥2.
这正是残差化回归。由于 MZ 对称且具有幂等性,
MZ⊤MZ=MZ,
其正规方程为
X⊤MZXβ^=X⊤MZy,
由此即可得到上述公式。
求得 β^ 后,控制变量的系数可由下式恢复:
γ^=(Z⊤Z)−1Z⊤(y−Xβ^).
这些系数通常不等于仅将 y 对 Z 回归所得的系数。
几何解释
在线性代数中,最小二乘法是将因变量向量正交投影到回归变量所张成的空间上。
Z 的各列张成一个线性子空间,表示控制变量所能解释的变动。应用 MZ 会移除向量落在该子空间中的分量,保留其位于正交补中的分量。
残差化后的回归变量满足
Z⊤X=0.
此外,合并后的回归变量空间具有如下正交分解:
col([ZX])=col(Z)⊕col(MZX).
因此,完整回归的因变量拟合值可分解为
y^=PZy+Xβ^.
第一项是因变量在控制变量空间上的投影;第二项则是剔除 X 与该空间的重合部分后,X 额外贡献的拟合分量。
这解释了“保持其他回归变量不变”的含义。X 的系数由 X 中无法表示为控制变量线性组合的变动决定。
单个回归变量的情形及示例
对于单个回归变量 x,有
β^=x⊤xx⊤y.
如果控制变量包含截距项,那么在采用相同归一化约定的情况下,这就是残差化变量之间的样本协方差,除以残差化回归变量的样本方差。
作为一个简单的例子,考虑
yi=α+βxi+εi.
令 Z 为截距列,则残差化等价于减去样本均值:
yi=yi−yˉ,xi=xi−xˉ.
由该定理即可得到熟悉的斜率公式:
β^=∑i=1n(xi−xˉ)2∑i=1n(xi−xˉ)(yi−yˉ).
加入其他控制变量时,同样的原理仍然适用,只需将离均差替换为对这些控制变量回归所得的残差。
仅对因变量进行残差化,再将其对原始 X 回归,通常是不正确的。仅对 X 进行残差化,再将原始因变量对 X 回归,确实能得到相同的系数,因为 X⊤Z=0,但其残差不同于完整回归的残差。
统计推断
该定理本身是确定性的。只有在将系数解释为估计量,或构造标准误和检验时,才需要引入分布假设和矩条件。
在经典的条件误差假设
E[ε∣X,Z]=0,Var(ε∣X,Z)=σ2In,
下,β^ 的条件协方差矩阵为
Var(β^∣X,Z)=σ2(X⊤MZX)−1.
当 n>k+m 时,误差方差通常采用的无偏估计为
σ^2=n−k−mε^⊤ε^.
分母是完整回归的残差自由度。如果软件程序只对这 k 个残差化回归变量进行回归,就可能改用 n−k,从而导致常规标准误不同,尽管系数和残差完全相同。
未经调整的异方差稳健协方差估计量通常称为 HC0,可按下式计算:
VarHC0(β^)=(X⊤X)−1(i=1∑nxixi⊤ε^i2)(X⊤X)−1,
其中,xi⊤ 是 X 的第 i 行。该估计量等于完整回归中相应系数所对应的协方差矩阵分块。
不过,有限样本修正必须明确保持一致。基于参数个数的修正需要使用完整模型的参数个数,而基于杠杆值的修正则需要使用相应的完整模型杠杆值。仅有系数相同,并不能保证软件的默认输出会重现所有推断量。
应用
解释调整后的关联
该定理明确了多元回归系数的含义:它描述的是剔除其他回归变量所解释的线性成分之后的关联。
这一点在计量经济学及其他应用领域中十分重要,但它并不能确立因果识别。对观测到的控制变量进行残差化,本身并不能消除混杂、反向因果关系、测量误差或其他形式的内生性。
固定效应与去均值
当 Z 由组别指示变量组成时,投影到其列空间会得到各组的均值。因此,残差化就变成减去组均值:
yig=yig−yˉg,xig=xig−xˉg.
这说明,只要指示变量的编码张成相同的控制变量空间,包含一整套组别效应的回归就与相应的组内回归等价。
存在多组组别效应时,通常不能只依次减去各组均值一遍。可以使用迭代残差化方法,求得在合并后的控制变量空间的正交补上的投影。
计算与诊断
剔除法可以避免显式估计大量非目标系数。它也是附加变量图的基础;这种图将残差化后的因变量对残差化后的回归变量作图,以直观呈现调整后的线性关系。
在数值计算中,通常无须显式构造 n×n 的残差生成矩阵。QR分解或奇异值分解可以直接对变量进行残差化。与构造交叉乘积矩阵并求逆相比,这些方法能够提供更好的数值稳定性。
扩展与局限
加权最小二乘法
加权最小二乘法也存在类似的恒等式。设 W 为已知的对称正定权重矩阵,并定义
MZ,W=In−Z(Z⊤WZ)−1Z⊤W.
则
β^W=(X⊤WMZ,WX)−1X⊤WMZ,Wy.
残差化与最终回归必须使用相同的权重。此处的正交性由加权内积 a⊤Wb 定义,而不是由通常的欧几里得内积定义。
秩与识别
标准公式要求 X 在残差化后仍具有满列秩。如果 X 的某一列完全位于 Z 所张成的空间中,那么该列残差化后为零,其系数也就无法单独识别。
当控制变量中存在冗余列时,向其列空间的投影仍有明确的定义,尽管 (Z⊤Z)−1 不存在。可以用广义逆或无冗余的表示来定义这一投影,但要唯一估计目标系数,仍然要求残差化后的回归变量具有相互独立的方向。
非线性模型与惩罚模型
通常的 FWL 恒等式一般不能推广到逻辑回归或其他非线性回归模型。这些模型的目标函数通常无法通过普通的线性残差化来简化。
同样,正则化估计也需要单独分析。在平方误差目标函数中,如果只对 β 施加惩罚,而不对 γ 施加惩罚,仍然可以通过同样的投影消去控制变量。如果也对控制变量的系数施加惩罚,通常就会改变这一结果。
该定理讨论的也是线性投影,而非任意形式的条件化。剔除在 Z 上的线性投影,不一定等同于减去给定 Z 的条件期望。
历史发展
该定理以拉格纳·弗里施、弗雷德里克·V. 沃和迈克尔·C. 洛维尔的名字命名。弗里施和沃在其 1933 年的论文《偏时间回归与个别趋势的比较》中提出了一种回归分解,探讨了时间趋势在回归中的作用。洛维尔在其 1963 年的论文《经济时间序列的季节调整与多元回归分析》中发展了相关结果。
如今,这一结果通常被表述为有关分块最小二乘回归的一般定理,而非仅适用于趋势或季节调整的技术。