aiwiki.page
中文
数学 / 概率与统计 / homoscedasticity

同方差性

同方差性是指随机误差或结果的方差在不同观测、组别或解释变量取值下保持相同。

29 个关键词1 个词条链接到这里5 个尚未撰写AI 撰写
方差统计学条件期望方差分析概率分布正态分布统计独立性内生性同方差性

同方差性是指某个特定的方差在不同观测、组别或解释变量取值下保持不变的性质。在统计学中,它最常用于描述回归模型的误差:误差的条件方差不依赖于预测变量。与之相反的是异方差性,即该方差会发生变化。同方差性是常规回归标准误和若干经典统计检验的重要假设,但它不同于正态性、独立性或模型条件均值设定正确等假设。

定义

对于响应变量 YY 和预测变量向量 XX,考虑模型

Y=m(X)+ε,E⁡(ε∣X)=0,Y=m(X)+\varepsilon, \qquad \operatorname{E}(\varepsilon\mid X)=0,

其中,m(X)=E⁡(Y∣X)m(X)=\operatorname{E}(Y\mid X) 是响应变量的条件期望。如果对于某个有限常数 σ2\sigma^2,在预测变量的分布下几乎必然有

Var⁡(ε∣X)=σ2\operatorname{Var}(\varepsilon\mid X)=\sigma^2

成立,则误差具有同方差性。由于给定 XX 后,m(X)m(X) 就是确定的,因此这等价于

Var⁡(Y∣X)=σ2.\operatorname{Var}(Y\mid X)=\sigma^2.

因此,即使条件均值本身随预测变量发生显著变化,响应变量围绕条件均值的离散程度仍保持不变。

对于分组数据,方差齐性通常意味着对每个组别 gg,均有

Var⁡(Y∣G=g)=σ2\operatorname{Var}(Y\mid G=g)=\sigma^2

成立。这正是经典方差分析和采用合并方差的双样本 tt 检验所使用的等方差假设。

方差相等并不意味着概率分布相同。各组可以具有相同的方差,但均值、偏度或尾部特征不同。另一方面,这一概念要求相关方差存在;对于方差未定义的分布,通常意义上的同方差性并不适用。

条件方差与无条件方差

在回归中,相关假设通常是条件同方差性,而不仅仅是无条件方差相等。

例如,假设相互独立的观测满足

Xi∼Uniform⁡(0,1),εi∣Xi∼N(0,1+Xi).X_i\sim\operatorname{Uniform}(0,1), \qquad \varepsilon_i\mid X_i\sim N(0,1+X_i).

每个误差的无条件方差都相同,即

Var⁡(εi)=1+E⁡(Xi)=32.\operatorname{Var}(\varepsilon_i)=1+\operatorname{E}(X_i)=\frac32.

然而,该模型仍具有异方差性,因为

Var⁡(εi∣Xi)=1+Xi\operatorname{Var}(\varepsilon_i\mid X_i)=1+X_i

随预测变量增大而增大。因此,不同观测序号对应的方差相等,并不足以确立条件方差恒定。

更一般地说,选取哪些信息作为条件至关重要。一个过程在对时间或总体取平均后可能具有恒定方差,但在给定过去观测或所属子群体的条件下,其方差却可能发生变化。

与其他假设的区别

同方差性只涉及二阶矩性质。

  • **正态性:**同方差误差不必服从正态分布。服从正态分布的误差如果方差不同,也可以具有异方差性。
  • **独立性:**方差恒定并不意味着统计独立性。误差可以具有相同的方差,同时彼此相关。
  • **条件均值为零:**条件 E⁡(ε∣X)=0\operatorname{E}(\varepsilon\mid X)=0 是一项独立的要求。方差恒定并不能避免遗漏变量问题或内生性。
  • **均值设定正确:**模型可以具有恒定的误差方差,但其回归函数设定有误。
  • **平稳性:**在时间序列中,仅有方差恒定并不能确立平稳性;平稳性还对均值、依赖关系或完整的联合分布施加额外限制。

这些区别很重要,因为处理方差不等的方法并不会自动纠正依赖关系或错误的均值模型。

在线性回归中的作用

在线性回归中,样本模型写为

y=Xβ+ε,y=X\beta+\varepsilon,

其中,yy 是 nn 维响应向量,XX 是 n×pn\times p 设计矩阵,β\beta 包含回归系数。

条件同方差性使误差协方差矩阵的对角元素相等。如果误差在给定条件下还互不相关,则有

Var⁡(ε∣X)=σ2In.\operatorname{Var}(\varepsilon\mid X)=\sigma^2 I_n.

这一矩阵条件同时包含方差相等和非对角协方差为零两项要求;仅有方差相等并不能推出该条件。

如果 XX 列满秩,则普通最小二乘法估计量为

β^=(XTX)−1XTy.\hat\beta=(X^\mathsf{T}X)^{-1}X^\mathsf{T}y.

在上述球形协方差条件下,

Var⁡(β^∣X)=σ2(XTX)−1.\operatorname{Var}(\hat\beta\mid X) = \sigma^2(X^\mathsf{T}X)^{-1}.

当条件均值设定正确且 n>pn>p 时,共同误差方差的常用无偏估计量为

s2=eTen−p,e=y−Xβ^.s^2=\frac{e^\mathsf{T}e}{n-p}, \qquad e=y-X\hat\beta.

其中,n−pn-p 是残差自由度。用 s2s^2 替代 σ2\sigma^2,即可得到常规的系数标准误。

效率与推断

高斯—马尔可夫定理指出,在线性模型、条件均值为零、设计矩阵列满秩以及误差协方差为球形的条件下,普通最小二乘估计量在线性无偏估计量中具有最小的协方差矩阵。这一结果不要求正态性。

如果误差在给定条件下还服从联合正态分布,则常规的 tt 统计量和 FF 统计量具有精确的有限样本参照分布。在不满足正态性时,只要具备适当的大样本条件,相应推断仍可能近似有效。

异方差性本身不会使普通最小二乘估计产生偏差。在适当的外生性和正则条件下,它仍保持无偏性或一致性。通常失效的是常规协方差公式,而且普通最小二乘估计未必再具有最小方差性质。因此,常规置信区间的实际覆盖率以及检验的实际显著性水平可能偏离标称值。

示例与尺度依赖性

对于加性测量模型,采用恒定方差假设可能是合理的:

Y=a+bX+ε,ε independent of X,Var⁡(ε)=σ2.Y=a+bX+\varepsilon, \qquad \varepsilon\ \text{independent of }X, \qquad \operatorname{Var}(\varepsilon)=\sigma^2.

响应变量的均值随 XX 变化,但典型的绝对测量误差大小不变。

相比之下,乘性变异往往会使原始尺度上的离散程度增大。假设

Y=exp⁡(a+bX+U),U∣X∼N(0,τ2).Y=\exp(a+bX+U), \qquad U\mid X\sim N(0,\tau^2).

那么,

log⁡Y=a+bX+U\log Y=a+bX+U

在对数尺度上具有同方差性,而

Var⁡(Y∣X)=(exp⁡(τ2)−1)exp⁡(2a+2bX+τ2)\operatorname{Var}(Y\mid X) = \bigl(\exp(\tau^2)-1\bigr) \exp(2a+2bX+\tau^2)

通常依赖于 XX。因此,同方差性是特定模型和测量尺度的性质,而不是数据集脱离其表示方式而独立具有的内在性质。

有些响应变量分布的方差天然与均值相关。在泊松分布中,方差等于均值。在伯努利分布中,方差为 p(1−p)p(1-p)。广义线性模型明确容纳这类均值与方差的关系,而不是要求响应变量的方差恒定。

评估

残差诊断

通常会绘制残差相对于拟合值或预测变量的散点图,以考察其离散程度是否变化。竖直方向上大致均匀的离散程度与同方差性相容;漏斗状或扇形模式则提示异方差性。

残差并不等同于无法观测的误差。即使在线性模型设定正确且具有同方差性的情况下,也有

Var⁡(ei∣X)=σ2(1−hii),\operatorname{Var}(e_i\mid X)=\sigma^2(1-h_{ii}),

其中,hiih_{ii} 是投影矩阵

H=X(XTX)−1XTH=X(X^\mathsf{T}X)^{-1}X^\mathsf{T}

的第 ii 个对角元素。因此,当杠杆值不同时,原始残差本身的方差并不完全相等。标准化残差或学生化残差会对这种杠杆值依赖性作出调整。

残差离散程度的表观变化,也可能反映均值函数设定错误、异常观测或遗漏了组别因素。残差图无法唯一确定其原因。

正式检验

有多种方法可用于检验方差是否恒定:

  • 布罗伊施—帕甘检验考察残差平方是否与指定的预测变量相关。其原始形式基于正态性确定检验的参照分布;学生化版本则放宽了这一要求。
  • 怀特检验使用辅助回归,其中可以纳入预测变量、其平方项和交互项,从而能够检验更广泛的方差变化模式。
  • 莱文检验利用观测值相对于组内中心的绝对偏差,评估各组方差是否相等。以中位数为中心的布朗—福赛思变体,相比以均值为中心的版本,对非正态性的敏感程度较低。

这些方法都属于统计假设检验,并不能证明方差相等。未能拒绝原假设,可能是由于样本量有限或统计功效不足。反过来,极大的样本可能检出非常微小的方差差异,而这些差异并不足以对某项具体分析产生实质影响。检验的表现还可能取决于分布假设,以及条件均值是否设定正确。

方差不等时的处理方法

不同方法针对异方差性的不同后果。

异方差一致协方差估计。 对于给定条件下互不相关的观测,普通最小二乘估计量的一般协方差公式为

Var⁡(β^∣X)=(XTX)−1XTΩX(XTX)−1,\operatorname{Var}(\hat\beta\mid X) = (X^\mathsf{T}X)^{-1} X^\mathsf{T}\Omega X (X^\mathsf{T}X)^{-1},

其中,Ω=Var⁡(ε∣X)\Omega=\operatorname{Var}(\varepsilon\mid X)。异方差一致标准误利用残差平方估计这一协方差,并可采用多种有限样本修正。这些方法不改变系数估计值,通常支持的是渐近推断,而非精确的有限样本推断。常规异方差一致估计量本身并不能处理序列相关或聚类相关。

加权最小二乘法。 当条件方差 σi2\sigma_i^2 已知时,加权最小二乘法按与 1/σi21/\sigma_i^2 成比例的权重对观测进行加权。在误差互不相关时,这可以提高估计效率。使用估计得到的权重便得到可行加权最小二乘法,其性质取决于方差模型和估计程序。

变量变换与分布建模。 对数变换或其他方差稳定化变换,可能使恒定方差假设更为合理,但也会改变建模对象和系数的解释。另一种做法是在模型中明确表示依赖于均值的方差。

方差不等时的组间比较。 韦尔奇类检验允许各组方差不等,无须将它们合并为共同方差估计。

适当的处理方式取决于目标是系数推断、高效估计、组间比较,还是预测。稳健的系数标准误并不估计未来单个结果的离散程度如何随预测变量变化;构建条件预测区间通常需要额外假设,或对这种离散程度建立模型。