aiwiki.page
中文
数学 / 概率与统计 / rao-blackwell-theorem

拉奥—布莱克韦尔定理

拉奥—布莱克韦尔定理通过对充分统计量取条件期望改进估计量,保持期望不变,并降低方差及凸损失下的风险。

22 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
统计学估计量充分统计量条件期望方差估计量的偏差均方误差损失函数拉奥—布莱…

拉奥—布莱克韦尔定理是统计学中的一个结果,它说明如何将估计量替换为给定充分统计量时的条件期望,从而改进估计量。只要相关矩存在,新估计量就与原估计量具有相同的期望,且方差不大于原估计量。更一般地,只要损失函数关于估计值是凸的,新估计量的期望损失就不会更大。这一过程称为拉奥—布莱克韦尔化,它将统计充分性与方差缩减联系起来,是构造高效估计量的一种核心方法。

统计框架与定理陈述

设 XX 表示观测数据,其分布为 PθP_\theta,其中 θ∈Θ\theta\in\Theta 是未知参数。假设 U=U(X)U=U(X) 用于估计实值量 g(θ)g(\theta),且 T=T(X)T=T(X) 是关于 θ\theta 的充分统计量。

充分性意味着,给定 TT 时,完整数据 XX 的条件分布可以选取为不依赖于 θ\theta 的形式。因此,在条件分布满足通常的正则条件时,表达式

U∗(T)=Eθ[U(X)∣T]U^*(T)=\mathbb E_\theta[U(X)\mid T]

可以表示为 TT 的某个不涉及未知参数的函数。因此,U∗U^* 是一个可实际计算的估计量,而不是一个需要知道 θ\theta 才能使用的公式。

如果对每个 θ\theta 都有 Eθ[U2]<∞\mathbb E_\theta[U^2]<\infty,那么

Eθ[U∗]=Eθ[U]\mathbb E_\theta[U^*]=\mathbb E_\theta[U]

并且

Var⁡θ(U∗)≤Var⁡θ(U).\operatorname{Var}_\theta(U^*) \leq \operatorname{Var}_\theta(U).

特别地,如果 UU 是 g(θ)g(\theta) 的无偏估计量,那么 U∗U^* 也是无偏估计量,且在任意参数值下,其方差都不大于原估计量。

该定理并不要求原估计量无偏。由于估计量的偏差保持不变,其均方误差也不会增加:

Eθ ⁣[(U∗−g(θ))2]≤Eθ ⁣[(U−g(θ))2].\mathbb E_\theta\!\left[(U^*-g(\theta))^2\right] \leq \mathbb E_\theta\!\left[(U-g(\theta))^2\right].

这里以及下文中的所有比较,都是分别针对每个固定的 θ\theta 值进行的。

凸损失形式

更一般的表述使用损失函数 L(θ,a)L(\theta,a),其中 aa 是给出的估计值或采取的行动。其风险为

R(θ,U)=Eθ[L(θ,U)].R(\theta,U)=\mathbb E_\theta[L(\theta,U)].

假设行动空间是有限维实向量空间的凸子集,UU 可积,并且对每个固定的 θ\theta,L(θ,a)L(\theta,a) 都是关于 aa 的凸函数。在保证各期望有定义的条件下,

R(θ,U∗)≤R(θ,U)for every θ.R(\theta,U^*)\leq R(\theta,U) \qquad\text{for every }\theta.

这涵盖了平方误差损失和绝对误差损失。当损失函数关于估计向量是凸的时,该结论也适用于向量值估计量。

凸性对于这一一般性论证至关重要。对于任意非凸损失,将估计量替换为条件平均值未必能降低其风险。同样,如果允许的行动空间不是凸的,条件平均值也可能不属于允许采取的行动。

证明与等号成立条件

保持期望不变

由期望值的塔式性质可得

Eθ[U∗]=Eθ ⁣[Eθ[U∣T]]=Eθ[U].\mathbb E_\theta[U^*] = \mathbb E_\theta\!\left[ \mathbb E_\theta[U\mid T] \right] = \mathbb E_\theta[U].

因此,取条件期望保持了估计量的期望,从而也保持了其偏差。

方差缩减

条件方差分解给出

Var⁡θ(U)=Var⁡θ ⁣(Eθ[U∣T])+Eθ ⁣[Var⁡θ(U∣T)].\operatorname{Var}_\theta(U) = \operatorname{Var}_\theta\!\left( \mathbb E_\theta[U\mid T] \right) + \mathbb E_\theta\!\left[ \operatorname{Var}_\theta(U\mid T) \right].

因此,

Var⁡θ(U)−Var⁡θ(U∗)=Eθ ⁣[Var⁡θ(U∣T)]≥0.\operatorname{Var}_\theta(U) - \operatorname{Var}_\theta(U^*) = \mathbb E_\theta\!\left[ \operatorname{Var}_\theta(U\mid T) \right] \geq 0.

对于给定的 θ\theta,方差严格减小,当且仅当原估计量的条件方差以正概率为正。等号成立当且仅当

U=U∗Pθ-almost surely.U=U^* \qquad P_\theta\text{-almost surely}.

等价地,在该参数值下,除去概率为零的事件,UU 本身已经是 TT 的函数。

对于任意固定的目标量 g(θ)g(\theta),还成立一个更强的恒等式:

Eθ[(U−g(θ))2]=Eθ[(U∗−g(θ))2]+Eθ[(U−U∗)2].\mathbb E_\theta[(U-g(\theta))^2] = \mathbb E_\theta[(U^*-g(\theta))^2] + \mathbb E_\theta[(U-U^*)^2].

这一恒等式给出了平方误差风险减少的精确数值。

凸损失情形的证明

由条件形式的詹森不等式可得

L ⁣(θ,Eθ[U∣T])≤Eθ[L(θ,U)∣T].L\!\left(\theta,\mathbb E_\theta[U\mid T]\right) \leq \mathbb E_\theta[L(\theta,U)\mid T].

两边取期望,即得风险不等式。如果损失函数严格凸,那么在相关可积性条件下,等号成立要求给定 TT 时 UU 几乎必然为常数。

充分性为何重要

概率不等式

Var⁡θ ⁣(Eθ[U∣T])≤Var⁡θ(U)\operatorname{Var}_\theta\!\left( \mathbb E_\theta[U\mid T] \right) \leq \operatorname{Var}_\theta(U)

对任意统计量 TT 都成立,并不要求它是充分统计量。充分性的作用有所不同:它保证无需知道 θ\theta,就能计算条件平均值。

对于非充分统计量,Eθ[U∣T]\mathbb E_\theta[U\mid T] 可能依赖于未知参数。例如,如果 TT 是常数,那么取条件期望就会得到 Eθ[U]\mathbb E_\theta[U]。这样一来,θ\theta 的无偏估计量会变成常数 θ\theta;它的方差虽为零,却无法根据数据计算出来。

因此,充分性提供了一项一般性保证:方差缩减后的表达式仍然是一种有效的统计方法。不过,在每个具体应用中,充分性并非逻辑上的必要条件:即使作为条件的统计量不充分,某个特定的条件期望也可能恰好不依赖于未知参数。

示例

估计伯努利试验的成功概率

设 X1,…,XnX_1,\ldots,X_n 是来自成功概率为 pp 的伯努利分布的独立观测,并定义

S=∑i=1nXi.S=\sum_{i=1}^{n}X_i.

统计量 SS 是关于 pp 的充分统计量,且服从二项分布。一个简单的 pp 的无偏估计量是 U=X1U=X_1,它忽略了除第一个观测之外的所有观测。

给定 S=sS=s,在 nn 个位置中,每个位置出现这 ss 次成功之一的可能性都相同。因此

Ep[X1∣S=s]=sn,\mathbb E_p[X_1\mid S=s]=\frac{s}{n},

所以拉奥—布莱克韦尔化得到样本均值:

U∗=Sn=X‾.U^*=\frac{S}{n}=\overline X.

二者的方差分别为

Var⁡p(X1)=p(1−p),Var⁡p(X‾)=p(1−p)n.\operatorname{Var}_p(X_1)=p(1-p), \qquad \operatorname{Var}_p(\overline X)=\frac{p(1-p)}{n}.

当 n>1n>1 且 0<p<10<p<1 时,方差严格减小。

估计概率的平方

在同一模型中,假设目标量为 p2p^2,且 n≥2n\geq2。估计量

U=X1X2U=X_1X_2

是无偏的,因为各观测相互独立。给定 S=sS=s,两个指定位置都出现成功的概率为

Ep[X1X2∣S=s]=s(s−1)n(n−1).\mathbb E_p[X_1X_2\mid S=s] = \frac{s(s-1)}{n(n-1)}.

因此,

U∗=S(S−1)n(n−1)U^*=\frac{S(S-1)}{n(n-1)}

是 p2p^2 的无偏估计量,且其方差不大于 X1X2X_1X_2 的方差。这说明,该定理可以将一个效率低下的估计量转化为充分统计量的一个有用的非线性函数。

完备性与最小方差无偏估计

拉奥—布莱克韦尔定理保证估计量得到改进,但不一定保证它在所有无偏估计量中最优。一个额外的性质——完备性——提供了得到这一更强结论的标准途径。

如果对于满足所需可积性条件的每个可测函数 hh,由

Eθ[h(T)]=0for all θ\mathbb E_\theta[h(T)]=0 \quad\text{for all }\theta

都能推出

h(T)=0Pθ-almost surely for every θ.h(T)=0 \quad P_\theta\text{-almost surely for every }\theta.

则称统计量 TT 是完备统计量。

莱曼—谢费定理指出,在具有有限方差的无偏估计量中,完备充分统计量的无偏函数是唯一的一致最小方差无偏估计量,其中唯一性以几乎必然相等为准。

这两个结果的作用各不相同:

  • **拉奥—布莱克韦尔定理:**对充分统计量取条件期望,可以降低或保持凸损失下的风险。
  • **莱曼—谢费定理:**完备性确立了无偏估计量类中的唯一性与最小方差性。

这两个结论都不意味着估计量在所有有偏和无偏估计量中最优。在平方误差损失下,有偏估计量的风险有时可能小于最小方差无偏估计量的风险。

几何解释

对于固定的 θ\theta,平方可积随机变量构成一个希尔伯特空间,其内积为

⟨A,B⟩θ=Eθ[AB].\langle A,B\rangle_\theta=\mathbb E_\theta[AB].

关于 TT 可测的随机变量构成一个闭线性子空间。条件期望就是到该子空间的正交投影。

写成

U=U∗+(U−U∗),U=U^*+(U-U^*),

则残差与每个平方可积函数 h(T)h(T) 都正交:

Eθ[(U−U∗)h(T)]=0.\mathbb E_\theta[(U-U^*)h(T)]=0.

因此,平方误差分解就是一个勾股恒等式。这一解释说明了为什么消除充分统计量取值相同的观测组内的变异,不会增加平方误差风险。

计算应用与局限

在蒙特卡洛方法中,拉奥—布莱克韦尔化通常具有更广泛的含义,指将模拟量 H(X,Z)H(X,Z) 替换为通过解析方式计算的条件期望

m(Z)=E[H(X,Z)∣Z].m(Z)=\mathbb E[H(X,Z)\mid Z].

于是

E[m(Z)]=E[H(X,Z)],Var⁡(m(Z))≤Var⁡(H(X,Z)).\mathbb E[m(Z)]=\mathbb E[H(X,Z)], \qquad \operatorname{Var}(m(Z)) \leq \operatorname{Var}(H(X,Z)).

对于相互独立的重复模拟,这会直接降低相应蒙特卡洛平均值的方差。与经典参数估计不同,这类应用不一定涉及充分统计量:模拟分布是已知的,因此可能直接算出条件期望。

条件平均也用于贝叶斯推断中的计算以及马尔可夫链蒙特卡洛。不过,对于相关的模拟输出,仅仅降低每个单独输出的方差,并不能保证其平均值的渐近方差更小;还必须考虑序列协方差。

实际应用中的局限包括条件期望的计算难度及其计算成本。精确的条件平均可能需要计算代价高昂的积分或求和。用数值近似或基于模拟的近似代替它,会引入额外误差,也不会自动保留精确定理所提供的风险保证。

历史发展

该定理以 C. R. 拉奥和戴维·布莱克韦尔的名字命名。拉奥于 1945 年确立了方差缩减结果,布莱克韦尔于 1947 年发展了条件期望方法,并将其推广为更一般的决策论形式。它与充分性理论,以及后来基于完备性对最优无偏估计量的刻画一道,成为数理统计学的基础性成果。