aiwiki.page
中文
数学 / 概率与统计 / wald-test

瓦尔德检验

瓦尔德检验通过衡量参数估计值与假设值的差异相对于估计不确定性的大小,检验统计假设。

30 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
统计假设检验原假设计量经济学估计量标准误差正态分布显著性水平卡方分布瓦尔德检验

瓦尔德检验是一种统计假设检验方法,用于将参数估计值或一组参数约束与原假设所规定的值进行比较。它利用无约束估计量的不确定性估计,对二者的差异进行标准化。在适当的正则条件下,当原假设成立时,所得统计量近似服从正态分布或卡方分布。该方法由亚伯拉罕·瓦尔德于1943年提出,广泛应用于回归分析、基于似然的推断以及计量经济学。

基本原理

估计值与假设值之间的差异可能仅仅源于抽样变异。瓦尔德检验衡量的是,这一差异相对于估计量预期变异程度的大小。

对于标量参数 θ\theta,考虑假设

H0:θ=θ0.H_0:\theta=\theta_0.

如果 θ^\hat\theta 近似服从正态分布,且 se⁡^(θ^)\widehat{\operatorname{se}}(\hat\theta) 是恰当的标准误估计值,则带符号的瓦尔德统计量为

Z=θ^−θ0se⁡^(θ^).Z=\frac{\hat\theta-\theta_0} {\widehat{\operatorname{se}}(\hat\theta)}.

在原假设下,ZZ 渐近服从标准正态分布。显著性水平为 α\alpha 的双侧检验在下式成立时拒绝原假设:

∣Z∣>z1−α/2,|Z|>z_{1-\alpha/2},

其中,z1−α/2z_{1-\alpha/2} 是相应的标准正态分位数。

等价地,平方统计量

W=Z2W=Z^2

渐近服从自由度为1的卡方分布。因此,双侧P值为

p=Pr⁡(χ12≥Wobs).p=\Pr(\chi_1^2\ge W_{\mathrm{obs}}).

带符号的统计量保留了差异的方向信息,可用于单侧检验。将其平方后,这一方向信息便会丢失。

一般形式

设 θ∈Rp\theta\in\mathbb R^p 为参数向量,并假设原假设施加了 qq 个等式约束:

H0:g(θ)=0,H_0:g(\theta)=0,

其中,g:Rp→Rqg:\mathbb R^p\to\mathbb R^q 连续可微。

用 θ^\hat\theta 表示无约束估计量,用 V^\widehat V 表示其协方差矩阵的估计,并令

G(θ)=∂g(θ)∂θTG(\theta)=\frac{\partial g(\theta)}{\partial\theta^\mathsf T}

为约束函数的 q×pq\times p 雅可比矩阵。瓦尔德统计量为

W=g(θ^)T[G(θ^)V^G(θ^)T]−1g(θ^).W= g(\hat\theta)^\mathsf T \left[ G(\hat\theta)\widehat V G(\hat\theta)^\mathsf T \right]^{-1} g(\hat\theta).

只要估计量具有渐近正态性、其协方差得到一致估计,且约束函数的雅可比矩阵在真实参数处满行秩,那么在原假设下,

W→dχq2W\xrightarrow{d}\chi_q^2

成立。自由度等于局部独立约束的个数,不一定等于参数的个数。

方括号内的表达式是 g(θ^)g(\hat\theta) 的协方差估计。因此,WW 是一个二次型,用于衡量约束函数估计值偏离零的距离,并根据其方差和相关性进行调整。

线性约束

对于

H0:Rθ=r,H_0:R\theta=r,

其中 RR 是满行秩的固定 q×pq\times p 矩阵,统计量可简化为

W=(Rθ^−r)T(RV^RT)−1(Rθ^−r).W=(R\hat\theta-r)^\mathsf T (R\widehat V R^\mathsf T)^{-1} (R\hat\theta-r).

这一形式涵盖了多种联合检验,例如检验多个回归系数是否均为零、两个系数是否相等,或指定的线性组合是否等于给定值。系数估计值之间的相关性不可忽视:分别进行的检验通常不能替代联合检验。

协方差的尺度约定

介绍瓦尔德检验时,常见两种协方差的尺度约定。如果

n(θ^−θ∗)→dNp(0,Σ),\sqrt n(\hat\theta-\theta_*)\xrightarrow{d}N_p(0,\Sigma),

那么 θ^\hat\theta 的协方差近似为 Σ/n\Sigma/n。因此,统计量既可以像上文那样,使用协方差估计 V^≈Σ/n\widehat V\approx\Sigma/n 来表示,也可以写为

W=n g(θ^)T[G(θ^)Σ^G(θ^)T]−1g(θ^).W=n\,g(\hat\theta)^\mathsf T \left[ G(\hat\theta)\widehat\Sigma G(\hat\theta)^\mathsf T \right]^{-1} g(\hat\theta).

如果既保留因子 nn,又使用已经乘以 1/n1/n 的协方差,就会使统计量的尺度出错。

渐近依据

该检验的理论依据结合了渐近正态性与德尔塔方法。如果真实参数 θ∗\theta_* 满足原假设,则一阶展开给出

n g(θ^)=G(θ∗)n(θ^−θ∗)+op(1).\sqrt n\,g(\hat\theta) = G(\theta_*)\sqrt n(\hat\theta-\theta_*)+o_p(1).

由此可得

n g(θ^)→dNq ⁣(0, G(θ∗)ΣG(θ∗)T).\sqrt n\,g(\hat\theta) \xrightarrow{d} N_q\!\left( 0,\, G(\theta_*)\Sigma G(\theta_*)^\mathsf T \right).

对这一极限正态向量进行标准化,即可得到卡方极限分布。这一论证既说明了检验的灵活性,也揭示了它对局部线性近似的依赖。

该方法通常在最大似然估计的框架下引入,此时可利用费希尔信息获得协方差估计。但它并不限于似然估计量。基于估计方程的估计量以及其他渐近正态估计量,也可用于构造瓦尔德检验。在许多此类情形中,中心极限定理提供了正态近似的基础。

示例

单个回归系数

假设某个回归系数的估计结果为

β^=0.60,se⁡^(β^)=0.20.\hat\beta=0.60, \qquad \widehat{\operatorname{se}}(\hat\beta)=0.20.

对于 H0:β=0H_0:\beta=0,

Z=3,W=9.Z=3,\qquad W=9.

渐近双侧P值约为 0.00270.0027。

这一计算表明,在原假设模型下,如此大小的标准化差异有多罕见。它既不能证明该关联具有因果性,也不能衡量其实际重要性。

线性回归中的联合约束

在线性回归中,考虑

y=Xβ+ε.y=X\beta+\varepsilon.

对于普通最小二乘法估计量 β^\hat\beta,检验 Rβ=rR\beta=r 所用的统计量为

W=(Rβ^−r)T[R Var⁡^(β^) RT]−1(Rβ^−r).W=(R\hat\beta-r)^\mathsf T \left[ R\,\widehat{\operatorname{Var}}(\hat\beta)\,R^\mathsf T \right]^{-1} (R\hat\beta-r).

在经典的正态、同方差误差模型下,若设计矩阵满秩,且

Var⁡^(β^)=s2(XTX)−1,\widehat{\operatorname{Var}}(\hat\beta) =s^2(X^\mathsf TX)^{-1},

则统计量

F=WqF=\frac{W}{q}

在原假设下精确服从 Fq,n−pF_{q,n-p} 分布,其中 pp 是所估计的回归系数个数。当只有一个约束时,相应的带符号统计量精确服从学生t分布,且 W=t2W=t^2。

这些精确的有限样本结果所依赖的假设,比一般渐近瓦尔德检验的假设更强。

逻辑回归

在逻辑回归中,报告系数估计值时,通常也会给出用于检验 H0:βj=0H_0:\beta_j=0 的瓦尔德统计量。由于相应的优势比为 eβje^{\beta_j},这一原假设也表示优势比等于1。

然而,直接检验 βj=0\beta_j=0,与使用变换后的标准误检验 eβj=1e^{\beta_j}=1,在有限样本下可能得到不同的瓦尔德统计量。假设在逻辑上等价,并不保证非线性瓦尔德检验在数值上也等价。

与置信区间的关系

标量参数的双侧瓦尔德检验对应于通常的瓦尔德置信区间:

θ^±z1−α/2 se⁡^(θ^).\hat\theta \pm z_{1-\alpha/2}\, \widehat{\operatorname{se}}(\hat\theta).

只要两种方法使用相同的标准误和正态参照分布,就恰好在 θ0\theta_0 落于该区间之外时拒绝假设 H0:θ=θ0H_0:\theta=\theta_0。

对于向量参数,相应的置信域是一个椭球:

{θ:(θ^−θ)TV^−1(θ^−θ)≤χp,1−α2}.\left\{ \theta: (\hat\theta-\theta)^\mathsf T \widehat V^{-1} (\hat\theta-\theta) \le \chi^2_{p,1-\alpha} \right\}.

这类置信域的覆盖率通常只是近似达到名义水平。对称的瓦尔德区间还可能超出参数的允许范围,例如非负参数的区间下限可能小于零。

与似然比检验和得分检验的比较

瓦尔德检验、似然比检验和得分检验,是正则参数模型中检验约束的三种经典方法。

  • **瓦尔德检验:**利用无约束拟合,衡量参数估计值与原假设集合之间的标准化距离。
  • **似然比检验:**比较无约束模型与受约束模型下的最大似然值。
  • **得分检验:**在受约束估计值处计算似然函数的斜率,并利用信息量进行尺度调整。

在标准正则条件下,它们具有相同的一阶渐近原假设分布,且针对局部备择假设具有等价的极限功效。然而,它们在有限样本下的结果仍可能存在显著差异。

瓦尔德检验在计算上的一个优势是,只需拟合一次无约束模型,便可考察多种约束。相比之下,得分检验只需要受约束拟合,这在某些模型中可能更简单。

与似然比检验不同,瓦尔德检验通常不具有对光滑非线性重参数化的不变性。例如,等价的原假设表述

θ=θ0andlog⁡θ=log⁡θ0\theta=\theta_0 \quad\text{and}\quad \log\theta=\log\theta_0

可能产生不同的瓦尔德统计量。在适当条件下,两者渐近一致,但在有限样本中,它们采用的局部线性近似有所不同。对约束向量进行非奇异线性变换则不会改变统计量。

稳健协方差估计

瓦尔德推断高度依赖协方差估计量。在误差独立且同方差的条件下有效的协方差公式,当误差存在异方差、聚类相关或序列相关时,可能不再适用。

同样的瓦尔德构造可以采用针对相应情形设计的协方差估计量,包括:

  • 异方差一致协方差估计;
  • 聚类稳健协方差估计;
  • 用于时间序列数据的异方差与自相关一致估计。

这些替换并不自动保证推断可靠。其有效性取决于支撑协方差估计量的假设,以及是否具备适当的渐近条件——例如,常规的基于聚类的近似需要足够多的独立聚类。

稳健协方差估计处理的是在特定偏离模型假设的情况下如何估计不确定性的问题。它本身既不能消除估计量的偏差,也不能识别因果效应。

局限性与非正则情形

小样本与不充分的正态近似

卡方参照分布通常是一种大样本近似。样本量小、估计量分布偏斜、结局罕见以及似然函数曲率显著,都可能导致拒绝概率不准确。

较大的标准误还会与统计量的分子相互作用。在逻辑回归中,豪克–唐纳效应可能导致系数估计值越偏离零,瓦尔德统计量反而越小。完全分离或准完全分离可能使通常的有限最大似然估计不存在。

边界与奇异约束

标准理论假设参数空间在局部是正则的,且约束的协方差矩阵非奇异。例如,检验某个方差分量是否等于零,会使原假设位于参数允许空间的边界上;此时,通常的瓦尔德推理可能失效。

当约束函数的导数为零时,还会出现另一类问题。尽管

θ=0andθ2=0\theta=0 \quad\text{and}\quad \theta^2=0

描述的是同一个原假设集合,但约束 g(θ)=θ2g(\theta)=\theta^2 在原假设处的导数为零。标准的满秩条件不成立,因此采用这一表述时,无法证明通常的卡方校准是合理的。

弱识别与不稳定的协方差矩阵

如果参数存在弱识别,估计量的分布可能无法用正态分布充分近似。此时,常规瓦尔德检验的拒绝概率可能严重失真,一些工具变量模型就会出现这种情况。

近奇异的协方差矩阵也可能使二次型在数值上不稳定。必须区分冗余约束与独立约束;仅仅使用矩阵逆或广义逆,并不能证明相应的参照分布有效。

解释与多重检验

瓦尔德P值不是原假设为真的概率。P值较小也不意味着效应量较大。考察大量瓦尔德统计量会引入多重检验问题,而各个单独的检验并未处理这些问题。

根据模型和近似误差来源的不同,可选的替代方法包括基于似然的推断、精确检验或构造得当的自助采样方法。这些替代方法也各有其所需的假设,尤其是在涉及边界和弱识别的问题中。