aiwiki.page
中文
数学 / 概率与统计 / gauss-markov-theorem

高斯–马尔可夫定理

高斯–马尔可夫定理指出,在线性模型中,若误差均值为零、互不相关且方差相同,普通最小二乘估计量就是最佳线性无偏估计量。

25 个关键词6 个词条链接到这里1 个尚未撰写AI 撰写
统计学普通最小二乘法线性回归矩阵(数学)协方差矩阵单位矩阵统计独立性矩阵转置高斯–马尔…

高斯–马尔可夫定理是统计学中的一项定理,确立了普通最小二乘法在特定估计量类别中的最优性。在线性回归模型中,如果误差的均值为零、方差相同且有限,并且两两不相关,那么在所有对观测响应呈线性、且对回归系数无偏的估计量中,普通最小二乘估计量具有最小的协方差矩阵。因此,它被称为最佳线性无偏估计量,简称 BLUE。该定理不要求误差服从正态分布,其最优性结论也不会自动延伸到有偏估计量或非线性估计量。

模型与假设

考虑模型

y=Xβ+ε,y=X\beta+\varepsilon,

其中:

  • yy 是由观测响应组成的 n×1n\times 1 向量;
  • XX 是一个 n×pn\times p 设计矩阵;
  • β\beta 是由未知的非随机系数组成的 p×1p\times 1 向量;
  • ε\varepsilon 是由随机误差组成的 n×1n\times 1 向量。

标准的固定设计版本将 XX 视为已知的非随机矩阵,其假设为:

  1. 列满秩:rank⁡(X)=p\operatorname{rank}(X)=p,因此 n≥pn\geq p,且系数可被唯一识别。

  2. 误差均值为零:E[ε]=0\mathbb E[\varepsilon]=0。

  3. 误差协方差具有球形结构:

    Cov⁡(ε)=σ2In,0<σ2<∞.\operatorname{Cov}(\varepsilon)=\sigma^2 I_n, \qquad 0<\sigma^2<\infty.

这里,Cov⁡\operatorname{Cov} 表示协方差矩阵,InI_n 是单位矩阵。第三项假设包含两方面:误差方差相同,即同方差性;不同误差之间的协方差为零。

协方差为零通常并不意味着统计独立性。误差相互独立足以保证误差之间不相关,但独立性比该定理所要求的条件更强。

如果 XX 是随机的,一种常见表述则假设

E[ε∣X]=0,Cov⁡(ε∣X)=σ2In,\mathbb E[\varepsilon\mid X]=0, \qquad \operatorname{Cov}(\varepsilon\mid X)=\sigma^2 I_n,

并要求 XX 几乎必然列满秩。此时,定理在给定 XX 的条件下成立。条件均值假设比仅要求无条件均值为零更强。

“线性模型”是指模型对未知系数呈线性,而不一定对原始解释变量呈线性。例如,包含 xx、x2x^2 和 x3x^3 的模型,只要这些项的系数以线性形式进入模型,仍然满足这一结构要求。

严格表述

在上述假设下,普通最小二乘估计量为

β^=(XTX)−1XTy,\widehat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y,

其中,XTX^{\mathsf T} 表示 XX 的转置。列满秩保证了 XTXX^{\mathsf T}X 可逆。

其均值和协方差为

E[β^]=β,Cov⁡(β^)=σ2(XTX)−1.\mathbb E[\widehat\beta]=\beta, \qquad \operatorname{Cov}(\widehat\beta) =\sigma^2(X^{\mathsf T}X)^{-1}.

考虑任意其他估计量

β~=Ay,\widetilde\beta=Ay,

其中,AA 是一个固定的 p×np\times n 矩阵,可以依赖于已知的设计矩阵 XX,但不能依赖于观测响应 yy 或未知系数。这样的估计量称为对观测值呈线性。它对每个 β\beta 都无偏,当且仅当

AX=Ip.AX=I_p.

这就是通常的无偏性要求:对于模型中的所有参数取值,估计量的期望值都等于该参数。

定理指出,

Cov⁡(β~)−Cov⁡(β^)⪰0,\operatorname{Cov}(\widetilde\beta) -\operatorname{Cov}(\widehat\beta) \succeq 0,

其中,⪰0\succeq 0 表示半正定,即对应的每个二次型都非负。

等价地,对于每个固定的 c∈Rpc\in\mathbb R^p,

Var⁡(cTβ~)≥Var⁡(cTβ^).\operatorname{Var}(c^{\mathsf T}\widetilde\beta) \geq \operatorname{Var}(c^{\mathsf T}\widehat\beta).

因此,在所有线性无偏估计量中,普通最小二乘法使系数的每个线性组合的估计方差都达到最小。“最佳”指的是这种协方差意义下的序关系,并不是指各个实际观测误差的大小,也不保证在每个数据集中都能得到准确预测。

证明

定义

B=(XTX)−1XT.B=(X^{\mathsf T}X)^{-1}X^{\mathsf T}.

则 β^=By\widehat\beta=By,且 BX=IpBX=I_p。

对于任意参与比较的线性无偏估计量 AyAy,写成

A=B+D.A=B+D.

由于 AX=BX=IpAX=BX=I_p,有

DX=0.DX=0.

利用球形协方差假设,

Cov⁡(Ay)=σ2AAT=σ2(B+D)(B+D)T.\operatorname{Cov}(Ay) =\sigma^2AA^{\mathsf T} =\sigma^2(B+D)(B+D)^{\mathsf T}.

交叉项为零,因为

BDT=(XTX)−1XTDT=(XTX)−1(DX)T=0.BD^{\mathsf T} =(X^{\mathsf T}X)^{-1}X^{\mathsf T}D^{\mathsf T} =(X^{\mathsf T}X)^{-1}(DX)^{\mathsf T} =0.

因此,

Cov⁡(Ay)=σ2(XTX)−1+σ2DDT.\operatorname{Cov}(Ay) = \sigma^2(X^{\mathsf T}X)^{-1} +\sigma^2DD^{\mathsf T}.

对于每个向量 cc,

cTDDTc=∥DTc∥2≥0.c^{\mathsf T}DD^{\mathsf T}c =\lVert D^{\mathsf T}c\rVert^2\geq 0.

因此,两个协方差矩阵之差为半正定矩阵,定理得证。由于 σ2>0\sigma^2>0,整个协方差矩阵相等要求 D=0D=0,从而也确立了该估计量在这一类别中的唯一性。

上述论证仅使用了一阶矩和二阶矩。证明不涉及任何特定的概率密度或分布形态。

几何解释

拟合响应

y^=Xβ^\widehat y=X\widehat\beta

是 yy 在 XX 的列空间上的正交投影。残差向量

e=y−y^e=y-\widehat y

满足

XTe=0,X^{\mathsf T}e=0,

因此它与设计矩阵的每一列都垂直。

在证明中,其他估计量与普通最小二乘估计量相差 DyDy,其中 DX=0DX=0。在误差协方差具有球形结构时,这个附加项的均值为零,且与 β^\widehat\beta 不相关。因此,加上这一项不可能减小协方差;它会额外贡献一个非负项 σ2DDT\sigma^2DD^{\mathsf T}。

这种几何解释将最小二乘最小化问题与统计有效性联系起来。正交投影解释了为什么残差平方和达到最小,而协方差假设则解释了为什么由此得到的系数估计量是 BLUE。

示例:估计共同均值

假设

yi=μ+εi,i=1,…,n,y_i=\mu+\varepsilon_i, \qquad i=1,\ldots,n,

其中,误差的均值为零、具有共同方差 σ2\sigma^2,且两两协方差为零。此时,XX 是一个元素全为 1 的单列矩阵,因此普通最小二乘法给出的估计量就是样本均值

μ^=y‾=1n∑i=1nyi.\widehat\mu=\overline y=\frac1n\sum_{i=1}^n y_i.

任意线性估计量都具有如下形式:

μ~=∑i=1naiyi.\widetilde\mu=\sum_{i=1}^n a_i y_i.

要使其对每个 μ\mu 都无偏,必须满足 ∑iai=1\sum_i a_i=1,并且

Var⁡(μ~)=σ2∑i=1nai2.\operatorname{Var}(\widetilde\mu) =\sigma^2\sum_{i=1}^n a_i^2.

由于

∑i=1nai2=1n+∑i=1n(ai−1n)2,\sum_{i=1}^n a_i^2 = \frac1n+\sum_{i=1}^n\left(a_i-\frac1n\right)^2,

最小方差为 σ2/n\sigma^2/n,在权重相等时达到。

如果观测值的方差已知但不相等,且仍然互不相关,那么按方差倒数加权通常比不加权的均值更好。这说明了同方差假设的重要性。

广义最小二乘法

该定理可推广到误差满足以下条件的情形:

Cov⁡(ε)=Ω,\operatorname{Cov}(\varepsilon)=\Omega,

其中,Ω\Omega 是已知的正定矩阵,不一定与单位矩阵成比例。

广义最小二乘法的估计量为

β^GLS=(XTΩ−1X)−1XTΩ−1y,\widehat\beta_{\mathrm{GLS}} = (X^{\mathsf T}\Omega^{-1}X)^{-1} X^{\mathsf T}\Omega^{-1}y,

其协方差为

Cov⁡(β^GLS)=(XTΩ−1X)−1.\operatorname{Cov}(\widehat\beta_{\mathrm{GLS}}) = (X^{\mathsf T}\Omega^{-1}X)^{-1}.

在均值为零的假设下,对于这种更一般的协方差结构,它是 BLUE。这一推广通常归功于艾特肯。

理解这一结果的一种方式是:先对模型进行变换,使变换后误差的协方差矩阵成为单位矩阵,再应用普通最小二乘法。当 Ω\Omega 为对角矩阵时,就得到加权最小二乘法;非零的非对角元素则允许误差之间存在相关性。

如果 Ω\Omega 是根据数据估计的,由此得到的可行广义最小二乘估计量并不会自动具有同样的精确有限样本最优性。

适用范围与局限

线性与无偏性限制了比较范围

该定理比较的是线性无偏估计量。它并未证明,在所有可能的估计量中,普通最小二乘法能够使每一种估计误差度量都达到最小。

对于 θ\theta 的标量估计量 TT,其均方误差满足

E[(T−θ)2]=Var⁡(T)+(E[T]−θ)2.\mathbb E[(T-\theta)^2] = \operatorname{Var}(T) +\bigl(\mathbb E[T]-\theta\bigr)^2.

有偏估计量可以用增加偏差来换取方差的降低。因此,岭回归等方法可能在某些情况下取得更低的均方误差,而这并不违背高斯–马尔可夫定理。

无需正态性,但精确推断需要更多条件

BLUE 最优性不要求误差服从正态分布。如果误差服从联合正态分布,且协方差矩阵为 σ2In\sigma^2I_n,那么普通最小二乘估计量也是 β\beta 的最大似然估计量,此时还可以使用常见的精确有限样本回归检验。

没有正态性时,仅凭高斯–马尔可夫定理,不能断言检验统计量精确服从学生 tt 分布或 FF 分布。大样本推断也需要额外条件。

当 n>pn>p 时,

s2=eTen−ps^2=\frac{e^{\mathsf T}e}{n-p}

在上述矩条件下是 σ2\sigma^2 的无偏估计量。通常使用的系数协方差矩阵估计为 s2(XTX)−1s^2(X^{\mathsf T}X)^{-1},可由此得到常规标准误。

方差不等与误差相关

如果均值为零的条件仍然成立,但误差协方差为一般矩阵 Ω\Omega,普通最小二乘估计量仍然无偏,其协方差为

Cov⁡(β^)=(XTX)−1XTΩX(XTX)−1.\operatorname{Cov}(\widehat\beta) = (X^{\mathsf T}X)^{-1} X^{\mathsf T}\Omega X (X^{\mathsf T}X)^{-1}.

但它通常不再是 BLUE。稳健协方差估计量可以在某些特定的偏离球形协方差假设的情况下支持统计推断,但它们不会改变普通最小二乘法的系数估计,也不会自动使这些估计具有有效性。

内生性与因果解释

当 E[ε∣X]≠0\mathbb E[\varepsilon\mid X]\neq 0 时,普通最小二乘估计量不一定无偏。这种内生性可能源于遗漏变量、测量误差,或回归变量与响应变量的同时决定。

该定理也不能确立因果识别。它的有效性结论针对的是在假定的统计模型中进行的估计;要将系数解释为因果效应,还需要额外的实质性假设或研究设计。

秩亏与数值计算

如果 XX 不满足列满秩,整个系数向量就无法被唯一识别。不过,对于系数的可估线性组合,仍然可能存在最佳线性无偏估计量。

即使满足满秩条件,近似共线性也可能导致系数方差很大,并使计算对舍入误差敏感。BLUE 意味着在指定类别中最优,而不一定意味着估计精确。在计算中,通常更适合采用QR分解或奇异值分解,而不是显式构造 XTXX^{\mathsf T}X 并求其逆矩阵。

历史背景

该定理以卡尔·弗里德里希·高斯和安德烈·马尔可夫的名字命名。高斯提出了将最小二乘法与最小方差线性无偏估计联系起来的奠基性结果;马尔可夫后来对这一理论及其表述作出了贡献。艾特肯则将这一框架推广到误差协方差为一般已知矩阵的情形。

该定理在计量经济学、实验分析和回归理论中占有核心地位,因为它区分了三个不同的概念:使残差平方和最小、实现无偏性,以及在给定的估计量类别中达到最小方差。