aiwiki.page
中文
数学 / 概率与统计 / cramer-rao-bound

克拉默—拉奥界

克拉默—拉奥界以费希尔信息给出估计量方差的下界,是满足正则条件时衡量统计估计精度的基准。

27 个关键词4 个词条链接到这里AI 撰写
统计学估计量方差费希尔信息似然函数期望值统计独立性标准误差克拉默—拉…

克拉默—拉奥界是统计学中的一个不等式,为可微统计模型中估计量的方差规定了下界。其最常见的形式指出:标量参数的无偏估计量,其方差不能小于观测数据所含费希尔信息的倒数。这个界描述的是在给定模型和估计量类别内,估计精度所能达到的理论极限;一般而言,它并不保证存在能够达到这一极限的估计量。

标量形式

设 XX 表示观测数据,其概率密度函数或概率质量函数为 p(x;θ)p(x;\theta),其中 θ\theta 是未知的实参数。得分是对数似然函数的导数:

Uθ(X)=∂∂θlog⁡p(X;θ).U_\theta(X) = \frac{\partial}{\partial\theta}\log p(X;\theta).

在适当的正则条件下,得分的期望值为零,费希尔信息为

I(θ)=Eθ[Uθ(X)2].I(\theta) = \mathbb E_\theta[U_\theta(X)^2].

若 T(X)T(X) 是 θ\theta 的无偏估计量,即在整个参数空间内都有 Eθ[T]=θ\mathbb E_\theta[T]=\theta,则

Var⁡θ(T)≥1I(θ)\boxed{ \operatorname{Var}_\theta(T) \geq \frac{1}{I(\theta)} }

前提是 0<I(θ)<∞0<I(\theta)<\infty,并且所需的可微性与可积性条件成立。

这里,I(θ)I(\theta) 是整个观测数据集所包含的信息。对于 nn 个独立同分布的观测,统计独立性使信息具有可加性:

In(θ)=nI1(θ).I_n(\theta)=nI_1(\theta).

因此,

Var⁡θ(T)≥1nI1(θ).\operatorname{Var}_\theta(T) \geq \frac{1}{nI_1(\theta)}.

相应的标准误下界为 1/nI1(θ)1/\sqrt{nI_1(\theta)}。

估计参数的函数

如果 TT 无偏估计的是可微函数 g(θ)g(\theta),而不是 θ\theta 本身,那么下界变为

Var⁡θ(T)≥[g′(θ)]2I(θ).\operatorname{Var}_\theta(T) \geq \frac{[g'(\theta)]^2}{I(\theta)}.

这一形式很重要,因为信息和精度取决于参数的表达方式。例如,从方差改为标准差时,相应的下界也会通过这一变换的导数发生改变。

正则条件

克拉默—拉奥不等式并非对所有统计模型都成立。其通常的证明需要一些条件,以保证可以对概率积分和期望求导。

常见的充分条件包括:

  • 参数取值于一个开区间,且模型关于该参数可微。
  • 分布的支撑集不依赖于参数。
  • 对 p(x;θ)p(x;\theta) 的归一化积分或求和,以及对 TT 的期望,都可以交换求导与积分或求和的次序。
  • 估计量的方差有限,费希尔信息有限且为正。

支撑集与参数无关是一个方便的充分条件,但并非所有推广形式都不可缺少的要求。关键在于证明中使用的求导恒等式是否成立,其中也包括对边界项的处理。

若还满足允许再次求导的附加条件,费希尔信息也可以写为

I(θ)=−Eθ[∂2∂θ2log⁡p(X;θ)].I(\theta) = -\mathbb E_\theta \left[ \frac{\partial^2}{\partial\theta^2} \log p(X;\theta) \right].

对数似然的这一负曲率期望,应与观测信息区分开来;后者是在实际观测数据处计算的负二阶导数。通常的克拉默—拉奥界使用的是期望费希尔信息。

推导

标量情形的下界可由柯西—施瓦茨不等式推出。

记

m(θ)=Eθ[T].m(\theta)=\mathbb E_\theta[T].

在积分号下求导,得到

m′(θ)=∫T(x) ∂p(x;θ)∂θ dx=Eθ[TUθ].\begin{aligned} m'(\theta) &= \int T(x)\, \frac{\partial p(x;\theta)}{\partial\theta}\,dx\\ &= \mathbb E_\theta[TU_\theta]. \end{aligned}

由于 Eθ[Uθ]=0\mathbb E_\theta[U_\theta]=0,这一恒等式等价于

Cov⁡θ(T,Uθ)=m′(θ).\operatorname{Cov}_\theta(T,U_\theta)=m'(\theta).

因此,由协方差不等式可得

[m′(θ)]2≤Var⁡θ(T)Var⁡θ(Uθ)=Var⁡θ(T)I(θ).[m'(\theta)]^2 \leq \operatorname{Var}_\theta(T) \operatorname{Var}_\theta(U_\theta) = \operatorname{Var}_\theta(T)I(\theta).

两边除以 I(θ)I(\theta) 即得结论。对于 θ\theta 的无偏估计量,m′(θ)=1m'(\theta)=1;对于 g(θ)g(\theta) 的无偏估计量,m′(θ)=g′(θ)m'(\theta)=g'(\theta)。

这个证明揭示了该下界的基本机制:如果一个估计量的期望随参数变化得很快,它与得分之间就必须有足够大的协方差,因而自身也必须有足够大的方差。

有偏估计量与均方误差

常见的信息倒数下界,并不是适用于所有估计量的普遍下界。设估计量的偏差为

b(θ)=Eθ[T]−θ.b(\theta)=\mathbb E_\theta[T]-\theta.

此时 m′(θ)=1+b′(θ)m'(\theta)=1+b'(\theta),因此推广后的标量不等式为

Var⁡θ(T)≥[1+b′(θ)]2I(θ).\operatorname{Var}_\theta(T) \geq \frac{[1+b'(\theta)]^2}{I(\theta)}.

利用均方误差可分解为方差与偏差平方之和,得到

Eθ[(T−θ)2]≥b(θ)2+[1+b′(θ)]2I(θ).\mathbb E_\theta[(T-\theta)^2] \geq b(\theta)^2+ \frac{[1+b'(\theta)]^2}{I(\theta)}.

因此,有偏估计量的方差可以低于通常的无偏下界,而不违背该定理。偏差本身及其局部变化率都很重要。

这一区别与收缩估计和正则化有关:这些方法有意引入偏差,以减小波动或改善总体估计误差。当偏差函数已指定或已知时,有偏情形的下界具有参考价值;但对于不受限制的估计量,它并不能在每个参数点给出一个统一的正误差下限。

等号成立条件与有效性

标量下界取等号,当且仅当中心化后的估计量与得分以概率一线性相关:

T−m(θ)=m′(θ)I(θ)Uθ(X).T-m(\theta) = \frac{m'(\theta)}{I(\theta)}U_\theta(X).

对于 θ\theta 的无偏估计量,这一条件简化为

Uθ(X)=I(θ)[T(X)−θ].U_\theta(X) = I(\theta)[T(X)-\theta].

这是一个很强的限制条件。达到该下界的估计量通常称为有效估计量,不过“有效性”也可能用于渐近或相对比较。

对于 θ\theta 的无偏估计量,其克拉默—拉奥效率通常表示为

eff⁡θ(T)=1/I(θ)Var⁡θ(T)≤1.\operatorname{eff}_\theta(T) = \frac{1/I(\theta)} {\operatorname{Var}_\theta(T)} \leq 1.

达到下界,意味着在相应参数值处,该估计量在所有无偏估计量中具有最小方差。反之则不成立:一个估计量即使在所有无偏估计量中方差最小,其方差仍可能严格大于克拉默—拉奥界。

示例

方差已知时的正态均值

设 X1,…,XnX_1,\ldots,X_n 服从正态分布,均值 μ\mu 未知,方差 σ2\sigma^2 已知。关于 μ\mu 的总费希尔信息为

In(μ)=nσ2.I_n(\mu)=\frac{n}{\sigma^2}.

因此,μ\mu 的任意无偏估计量都满足

Var⁡μ(T)≥σ2n.\operatorname{Var}_\mu(T)\geq\frac{\sigma^2}{n}.

样本均值的方差恰好等于此值,因此无论样本量是多少,它都能达到该下界。

伯努利成功概率

对于来自伯努利分布、成功概率为 p∈(0,1)p\in(0,1) 的独立观测,

In(p)=np(1−p).I_n(p)=\frac{n}{p(1-p)}.

样本比例 p^\widehat p 是无偏的,且满足

Var⁡p(p^)=p(1−p)n.\operatorname{Var}_p(\widehat p) = \frac{p(1-p)}{n}.

因此它达到该下界。将参数限制在内部 0<p<10<p<1 很重要:通常的正则分析并不能自动推广到边界点。

指数分布的速率参数:未达到的下界

设 X1,…,XnX_1,\ldots,X_n 服从速率参数为 λ>0\lambda>0 的指数分布。此时

In(λ)=nλ2,I_n(\lambda)=\frac{n}{\lambda^2},

由此得到无偏估计量的方差下界 λ2/n\lambda^2/n。

当 n>2n>2 时,估计量

T=n−1∑i=1nXiT=\frac{n-1}{\sum_{i=1}^{n}X_i}

是无偏的,其方差为

Var⁡λ(T)=λ2n−2.\operatorname{Var}_\lambda(T) = \frac{\lambda^2}{n-2}.

这一方差超过了下界。这个例子说明,计算出下界本身,并不意味着就能得到一个达到它的估计量。

向量参数与干扰参数

对于参数向量 θ∈Rd\boldsymbol\theta\in\mathbb R^d,得分是一个梯度:

Uθ=∇θlog⁡p(X;θ).\mathbf U_{\boldsymbol\theta} = \nabla_{\boldsymbol\theta} \log p(X;\boldsymbol\theta).

费希尔信息矩阵为

I(θ)=Eθ[UθUθT].\mathbf I(\boldsymbol\theta) = \mathbb E_{\boldsymbol\theta} [ \mathbf U_{\boldsymbol\theta} \mathbf U_{\boldsymbol\theta}^{\mathsf T} ].

若 T\mathbf T 是 θ\boldsymbol\theta 的无偏估计量,且信息矩阵非奇异,则矩阵形式的下界为

Cov⁡θ(T)⪰I(θ)−1.\operatorname{Cov}_{\boldsymbol\theta}(\mathbf T) \succeq \mathbf I(\boldsymbol\theta)^{-1}.

这里,⪰\succeq 表示两矩阵之差为半正定矩阵。因此,这个不等式不仅约束估计量各分量自身的方差,也约束这些分量任意线性组合的方差。

更一般地,如果 T\mathbf T 无偏估计可微向量函数 g(θ)\mathbf g(\boldsymbol\theta),其雅可比矩阵为 G\mathbf G,那么

Cov⁡θ(T)⪰GI−1GT.\operatorname{Cov}_{\boldsymbol\theta}(\mathbf T) \succeq \mathbf G\mathbf I^{-1}\mathbf G^{\mathsf T}.

未知干扰参数

设 θ\theta 是所关注的标量参数,η\boldsymbol\eta 由未知干扰参数组成。将信息矩阵分块为

I=(IθθIθηIηθIηη).\mathbf I= \begin{pmatrix} I_{\theta\theta} & \mathbf I_{\theta\eta}\\ \mathbf I_{\eta\theta} & \mathbf I_{\eta\eta} \end{pmatrix}.

在通常的非奇异性条件下,若一个估计量在整个联合模型中都对 θ\theta 无偏,其方差下界为

Var⁡(T)≥(Iθθ−IθηIηη−1Iηθ)−1.\operatorname{Var}(T) \geq \left( I_{\theta\theta} - \mathbf I_{\theta\eta} \mathbf I_{\eta\eta}^{-1} \mathbf I_{\eta\theta} \right)^{-1}.

被减去的项描述了未知干扰参数带来的信息损失。如果只使用 1/Iθθ1/I_{\theta\theta},就相当于把这些参数视为已知。

信息矩阵奇异时,需要另行分析。这可能反映了参数化存在冗余,或局部统计识别失效;若要用广义逆代替逆矩阵,还需要额外的可估性条件。

与大样本估计的关系

在适当条件下,最大似然估计量满足

n(θ^n−θ)→dN ⁣(0,I1(θ)−1).\sqrt n(\widehat\theta_n-\theta) \xrightarrow{d} N\!\left(0,I_1(\theta)^{-1}\right).

因此,其渐近协方差与信息矩阵逆所给出的基准一致,即使它们在有限样本下有偏,且不能达到有限样本下界。

这种渐近有效性与克拉默—拉奥不等式精确取等号并不相同。它需要可识别性、足够的光滑性、真实参数位于参数空间内部,以及适当的信息性质等条件。此外,仅有依分布收敛并不意味着方差收敛;要据此近似有限样本方差,还需要额外控制相关的矩。

应用与局限

该下界为比较估计方法和评价测量系统提供了基准。在实验设计中,可控的实验设置会影响信息矩阵。常见目标包括最大化其行列式、最小化其逆矩阵的迹,或最小化特定参数或对比量的下界。

这些比较都以所假设的概率分布模型为前提。模型设定错误、似然中遗漏的依赖关系,或未纳入模型的系统性效应,都可能使一个看似理想的下界产生误导。

支撑集依赖于参数

一个经典反例来自区间 (0,θ)(0,\theta) 上的均匀分布。对于 nn 个观测,令

M=max⁡(X1,…,Xn).M=\max(X_1,\ldots,X_n).

无偏估计量

T=n+1nMT=\frac{n+1}{n}M

的方差为

Var⁡θ(T)=θ2n(n+2).\operatorname{Var}_\theta(T) = \frac{\theta^2}{n(n+2)}.

若仅在支撑集内部直接对对数密度求导,会得到得分 −n/θ-n/\theta,其期望并不为零。忽略随参数移动的边界,会得到一个与上述方差相矛盾的错误下界。问题出在正则条件不成立,而不在不等式本身。

其他局限还包括:必须限定偏差的行为、下界可能无法达到、参数可能位于边界,以及某些模型不存在通常意义上的可微似然函数。此外,该下界针对的是估计量的协方差,而非置信区间的覆盖率,也不是某一次实际估计结果的准确程度。

替代方法包括有限差分信息不等式、约束参数下界和贝叶斯下界。例如,范特里斯不等式引入先验分布,并在其自身的正则条件与边界条件下,对积分估计风险给出下界。

历史发展

这一不等式以哈拉尔德·克拉默和 C. R. 拉奥命名。拉奥于1945年提出了其中一种形式,克拉默则在1946年出版的《统计学数学方法》中发展了这一结果。相关的更早研究还涉及莫里斯·弗雷歇和乔治·达穆瓦。

这一结果属于基于似然的统计推断及费希尔信息理论的整体发展脉络,后者由罗纳德·费希尔的工作引入。它将概率模型对参数的敏感程度与估计方差的精确极限联系起来,这也是它历久不衰的重要作用。