克拉美–拉奥不等式 是统计学 中的一个定理,它根据观测中所含的信息,为估计量 的方差 给出下界。在其最广为人知的形式中,标量参数 θ \theta θ 的无偏估计量 T T T 满足
Var θ ( T ) ≥ 1 I ( θ ) , \operatorname{Var}_{\theta}(T)\geq \frac{1}{I(\theta)}, Var θ ( T ) ≥ I ( θ ) 1 ,
其中,I ( θ ) I(\theta) I ( θ ) 是整个观测样本中的费希尔信息 。该不等式要求满足一定的正则条件,使统计模型的求导运算与对所有可能观测的积分运算能够交换次序;它并非适用于所有估计问题的普遍界限。
这一结果为统计精度提供了一个基准,不依赖于构造估计量所采用的具体算法。它有助于刻画有效估计量,解释最大似然估计 的大样本行为,并指导实验设计 。其推广涉及向量参数、有偏估计量、干扰参数、贝叶斯风险和量子测量。在所有这些应用中,一个核心区别在于数学下界与实际可达到的性能水平并不相同:即使下界严格成立,也可能没有任何估计量能够达到它。
历史发展与统计背景 这一不等式源于二十世纪上半叶数理估计理论的发展。罗纳德·费希尔 在研究似然、充分性和统计估计精度的过程中,引入并发展了信息的概念。信息反映了概率分布 随其参数变化的剧烈程度。如果两个相近的参数值对应的分布差异显著,那么与分布变化轻微的情形相比,通常可以根据观测更精确地区分这两个参数值。
莫里斯·弗雷歇于1943年得到了信息不等式的一种早期形式。C. R. 拉奥在1945年的论文《信息与统计参数估计所能达到的精度》中发表了他的表述,哈拉尔德·克拉美则在1946年的著作《统计学的数学方法》中发展了这一结果。正是由于这些贡献,这一不等式也称为克拉美–拉奥不等式、拉奥–克拉美不等式,偶尔也称为弗雷歇–克拉美–拉奥不等式。拉奥的工作还将统计信息与几何联系起来,这一联系后来成为信息几何的核心内容。
其基本统计背景是一个分布族:
P = { P θ : θ ∈ Θ } . \mathcal P=\{P_\theta:\theta\in\Theta\}. P = { P θ : θ ∈ Θ } .
观测 X X X 服从分布 P θ P_\theta P θ ,但 θ \theta θ 未知。估计量是观测的可测函数 T ( X ) T(X) T ( X ) ,其构造不依赖于真实参数的已知值。在固定的 θ \theta θ 下重复抽样,会得到 T T T 的抽样分布 ,其离散程度从一个方面衡量了估计的不确定性。克拉美–拉奥不等式将这种离散程度与模型的一项性质联系起来,而不是与某种具体的计算方法联系起来。
从历史上看,这一不等式有助于区分统计最优性的几种含义。一个估计量可能在无偏估计量中具有最小方差,可能达到信息下界,也可能仅在样本量趋于无穷时才具有有效性。这些性质并不等价。最小方差无偏估计量未必能达到克拉美–拉奥下界,而在有限样本下具有较小偏差的估计量,其均方误差可能低于任何无偏估计量。因此,这一定理属于更广泛的决策理论 框架;在这一框架中,估计量的表现取决于所考察的估计量类别以及所选择的损失函数 。
标量形式与正则条件 假设模型相对于某个固定的控制测度具有密度函数或质量函数 p θ ( x ) p_\theta(x) p θ ( x ) 。对于连续观测,该函数可以是概率密度函数 ;对于离散观测,则可以是概率质量函数 。似然函数 将观测值 x x x 对应的 p θ ( x ) p_\theta(x) p θ ( x ) 视为 θ \theta θ 的函数。其对数对参数的导数
U θ ( X ) = ∂ ∂ θ log p θ ( X ) , U_\theta(X)=\frac{\partial}{\partial\theta}\log p_\theta(X), U θ ( X ) = ∂ θ ∂ log p θ ( X ) ,
称为得分函数 。在适当的正则条件下,
E θ [ U θ ] = 0 , I ( θ ) = E θ [ U θ 2 ] . E_\theta[U_\theta]=0, \qquad I(\theta)=E_\theta[U_\theta^2]. E θ [ U θ ] = 0 , I ( θ ) = E θ [ U θ 2 ] .
因此,信息量就是得分的方差。
设 T T T 是可微标量函数 g ( θ ) g(\theta) g ( θ ) 的无偏估计量:
E θ [ T ] = g ( θ ) . E_\theta[T]=g(\theta). E θ [ T ] = g ( θ ) .
如果 T T T 的方差有限,且在相关期望的计算中可以交换求导与积分的次序,那么
Var θ ( T ) ≥ [ g ′ ( θ ) ] 2 I ( θ ) , 0 < I ( θ ) < ∞ . \operatorname{Var}_\theta(T) \geq \frac{[g'(\theta)]^2}{I(\theta)}, \qquad 0<I(\theta)<\infty. Var θ ( T ) ≥ I ( θ ) [ g ′ ( θ ) ] 2 , 0 < I ( θ ) < ∞.
熟知的信息量倒数下界是 g ( θ ) = θ g(\theta)=\theta g ( θ ) = θ 时的特例。分子中的导数至关重要:例如,估计 θ 2 \theta^2 θ 2 与估计 θ \theta θ 所涉及的精度问题并不相同。
一组常见的充分条件是:Θ \Theta Θ 为开区间,分布的支撑集不依赖于 θ \theta θ ,密度函数可微,且其导数具有适当的可积控制界。这些假设使求导 与积分 的次序可以交换,通常可通过控制收敛定理 加以证明。仅有支撑集固定这一条件并不充分,而支撑集依赖于参数本身也不足以判定不等式是否适用;决定性的问题是证明中所用的恒等式是否成立。在更强的二阶正则条件下,
I ( θ ) = − E θ [ ∂ 2 ∂ θ 2 log p θ ( X ) ] . I(\theta) = -E_\theta\!\left[ \frac{\partial^2}{\partial\theta^2}\log p_\theta(X) \right]. I ( θ ) = − E θ [ ∂ θ 2 ∂ 2 log p θ ( X ) ] .
这一曲率的期望应与在某个具体样本上计算得到的随机观测曲率区分开来。
对于满足统计独立性 且同分布的 n n n 个观测值,样本得分是各观测值得分之和。由于各项的均值为零,交叉项随之消失,从而有
I n ( θ ) = n I 1 ( θ ) . I_n(\theta)=nI_1(\theta). I n ( θ ) = n I 1 ( θ ) .
因此,对于 θ \theta θ 的无偏估计,有
Var θ ( T ) ≥ 1 n I 1 ( θ ) \operatorname{Var}_\theta(T)\geq\frac{1}{nI_1(\theta)} Var θ ( T ) ≥ n I 1 ( θ ) 1
成立。独立但不同分布的观测值所提供的信息量也具有可加性。对于相依的观测值,则必须使用其完整联合分布的信息量;直接将边缘分布的信息量乘以样本量,通常没有依据。
证明与几何解释 证明的关键在于对期望值 求导,并应用柯西—施瓦茨不等式 。从 E θ [ T ] = g ( θ ) E_\theta[T]=g(\theta) E θ [ T ] = g ( θ ) 出发,由正则性假设可得
g ′ ( θ ) = ∂ ∂ θ ∫ T ( x ) p θ ( x ) d x = ∫ T ( x ) ∂ p θ ( x ) ∂ θ d x = E θ [ T U θ ] . \begin{aligned} g'(\theta) &=\frac{\partial}{\partial\theta} \int T(x)p_\theta(x)\,dx\\ &=\int T(x)\frac{\partial p_\theta(x)}{\partial\theta}\,dx\\ &=E_\theta[TU_\theta]. \end{aligned} g ′ ( θ ) = ∂ θ ∂ ∫ T ( x ) p θ ( x ) d x = ∫ T ( x ) ∂ θ ∂ p θ ( x ) d x = E θ [ T U θ ] .
由于 E θ [ U θ ] = 0 E_\theta[U_\theta]=0 E θ [ U θ ] = 0 ,最后一个表达式等于
E θ [ ( T − g ( θ ) ) U θ ] = Cov θ ( T , U θ ) . E_\theta[(T-g(\theta))U_\theta] =\operatorname{Cov}_\theta(T,U_\theta). E θ [( T − g ( θ )) U θ ] = Cov θ ( T , U θ ) .
这里的积分记号在离散模型中也表示求和。
对中心化后的估计量与得分应用柯西—施瓦茨不等式,得到
[ g ′ ( θ ) ] 2 ≤ E θ [ ( T − g ( θ ) ) 2 ] E θ [ U θ 2 ] = Var θ ( T ) I ( θ ) . [g'(\theta)]^2 \leq E_\theta[(T-g(\theta))^2]\, E_\theta[U_\theta^2] = \operatorname{Var}_\theta(T)\,I(\theta). [ g ′ ( θ ) ] 2 ≤ E θ [( T − g ( θ ) ) 2 ] E θ [ U θ 2 ] = Var θ ( T ) I ( θ ) .
两边除以正的信息量,即得所要证明的结果。这一证明明确揭示了正则性的统计作用:它保证估计量期望值的变化可以用估计量与得分的协方差 来表示。最后得到的不等式则是平方可积随机变量的一般性质。
这一结果也可以在希尔伯特空间 中得到直观解释。固定参数值后,数据的中心化平方可积函数构成一个内积空间,其内积为
⟨ A , B ⟩ = E θ [ A B ] . \langle A,B\rangle=E_\theta[AB]. ⟨ A , B ⟩ = E θ [ A B ] .
T − g ( θ ) T-g(\theta) T − g ( θ ) 沿得分方向的分量为
g ′ ( θ ) I ( θ ) U θ . \frac{g'(\theta)}{I(\theta)}U_\theta. I ( θ ) g ′ ( θ ) U θ .
将估计量的中心化误差写成这一分量与正交残差 R θ R_\theta R θ 之和,得到
T − g ( θ ) = g ′ ( θ ) I ( θ ) U θ + R θ , E θ [ R θ U θ ] = 0. T-g(\theta) = \frac{g'(\theta)}{I(\theta)}U_\theta+R_\theta, \qquad E_\theta[R_\theta U_\theta]=0. T − g ( θ ) = I ( θ ) g ′ ( θ ) U θ + R θ , E θ [ R θ U θ ] = 0.
由正交分量的长度平方恒等式,
Var θ ( T ) = [ g ′ ( θ ) ] 2 I ( θ ) + E θ [ R θ 2 ] . \operatorname{Var}_\theta(T) = \frac{[g'(\theta)]^2}{I(\theta)} + E_\theta[R_\theta^2]. Var θ ( T ) = I ( θ ) [ g ′ ( θ ) ] 2 + E θ [ R θ 2 ] .
这一分解揭示的信息比单纯的数值下界更丰富。超出下界的方差恰好等于与得分正交的分量的长度平方。得分描述了参数变化时分布的一阶变化,而估计量必须对这种变化作出特定的响应。其余任何波动都会增加方差,却无助于满足这一局部响应要求。达到下界就意味着不存在这样的残差。
这一论证在参数意义上是局部的:期望和内积都是在某一个 P θ P_\theta P θ 下计算的。不过,如果声称某个估计量在整个模型中都是无偏的,那么它就必须在整个参数空间上满足相应的期望恒等式。若将逐点成立的陈述与同一个估计量在所有参数值下都必须满足的要求混为一谈,就可能错误地断言下界可以达到。
等号成立条件、有效估计量与精确实例 等号成立当且仅当中心化后的估计量与得分成正比:
T − g ( θ ) = g ′ ( θ ) I ( θ ) U θ P θ -almost surely . T-g(\theta) = \frac{g'(\theta)}{I(\theta)}U_\theta \quad P_\theta\text{-almost surely}. T − g ( θ ) = I ( θ ) g ′ ( θ ) U θ P θ -almost surely .
这里的限定语“几乎必然 ”允许等式两边在概率为零的事件上有所不同。满足这一条件的无偏估计量称为在该参数值处有效。要在整个模型中都具有有效性,则需要同一个不依赖未知参数的统计量对每个参数值都满足等号成立条件。这是一个很强的要求。
对于来自均值为 μ \mu μ 、已知方差为 σ 2 \sigma^2 σ 2 的正态分布 的独立观测,
U μ = 1 σ 2 ∑ i = 1 n ( X i − μ ) , I n ( μ ) = n σ 2 . U_\mu=\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu), \qquad I_n(\mu)=\frac{n}{\sigma^2}. U μ = σ 2 1 i = 1 ∑ n ( X i − μ ) , I n ( μ ) = σ 2 n .
样本均值 满足
X ‾ − μ = σ 2 n U μ , Var ( X ‾ ) = σ 2 n , \overline X-\mu=\frac{\sigma^2}{n}U_\mu, \qquad \operatorname{Var}(\overline X)=\frac{\sigma^2}{n}, X − μ = n σ 2 U μ , Var ( X ) = n σ 2 ,
因此恰好达到下界。另外两个经典例子也具有同样的性质。对于来自成功概率为 p ∈ ( 0 , 1 ) p\in(0,1) p ∈ ( 0 , 1 ) 的伯努利分布 的观测,
I n ( p ) = n p ( 1 − p ) , Var ( X ‾ ) = p ( 1 − p ) n . I_n(p)=\frac{n}{p(1-p)}, \qquad \operatorname{Var}(\overline X)=\frac{p(1-p)}{n}. I n ( p ) = p ( 1 − p ) n , Var ( X ) = n p ( 1 − p ) .
对于来自均值为 λ > 0 \lambda>0 λ > 0 的泊松分布 的观测,
I n ( λ ) = n λ , Var ( X ‾ ) = λ n . I_n(\lambda)=\frac{n}{\lambda}, \qquad \operatorname{Var}(\overline X)=\frac{\lambda}{n}. I n ( λ ) = λ n , Var ( X ) = n λ .
这两种情形下,样本均值都是无偏且有效的。
即使在简单的正则模型中,也并非一定能精确达到下界。假设 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n 服从速率参数为 λ \lambda λ 的指数分布 ,并令 S = ∑ i X i S=\sum_iX_i S = ∑ i X i 。得分和信息分别为
U λ = n λ − S , I n ( λ ) = n λ 2 . U_\lambda=\frac{n}{\lambda}-S, \qquad I_n(\lambda)=\frac{n}{\lambda^2}. U λ = λ n − S , I n ( λ ) = λ 2 n .
当 n > 2 n>2 n > 2 时,估计量
T = n − 1 S T=\frac{n-1}{S} T = S n − 1
是 λ \lambda λ 的无偏估计量,且
Var λ ( T ) = λ 2 n − 2 . \operatorname{Var}_\lambda(T)=\frac{\lambda^2}{n-2}. Var λ ( T ) = n − 2 λ 2 .
这一方差大于克拉默–拉奥下界 λ 2 / n \lambda^2/n λ 2 / n 。该估计量与 S S S 成反比,而等号成立则要求它与得分之间存在仿射关系。
等号成立与指数族 分布有着密切联系。在标量参数问题中,如果 θ \theta θ 的某个估计量在整个区间上都达到下界,且满足必要的光滑性条件,则等号成立条件意味着
∂ ∂ θ log p θ ( x ) = I ( θ ) ( T ( x ) − θ ) . \frac{\partial}{\partial\theta}\log p_\theta(x) = I(\theta)\bigl(T(x)-\theta\bigr). ∂ θ ∂ log p θ ( x ) = I ( θ ) ( T ( x ) − θ ) .
对 θ \theta θ 积分,可得到如下形式的表示:
p θ ( x ) = h ( x ) exp { A ( θ ) T ( x ) − B ( θ ) } . p_\theta(x)=h(x)\exp\{A(\theta)T(x)-B(\theta)\}. p θ ( x ) = h ( x ) exp { A ( θ ) T ( x ) − B ( θ )} .
因此,精确的有效性往往反映了模型特殊的代数结构。不过,模型属于指数族,并不保证其参数的每个函数都存在无偏有效估计量。
向量参数与干扰参数 对于参数向量 θ ∈ R p \theta\in\mathbb R^p θ ∈ R p ,得分是对数似然的梯度 :
U θ = ∇ θ log p θ ( X ) . U_\theta=\nabla_\theta\log p_\theta(X). U θ = ∇ θ log p θ ( X ) .
其协方差矩阵
I ( θ ) = E θ [ U θ U θ T ] , I(\theta)=E_\theta[U_\theta U_\theta^{\mathsf T}], I ( θ ) = E θ [ U θ U θ T ] ,
就是费舍尔信息矩阵。在正则条件下,该矩阵是对称半正定的。假设 T ∈ R q T\in\mathbb R^q T ∈ R q 是可微向量值函数 g ( θ ) g(\theta) g ( θ ) 的无偏估计量,并记该函数的 q × p q\times p q × p 雅可比矩阵 为 G ( θ ) G(\theta) G ( θ ) 。若 I ( θ ) I(\theta) I ( θ ) 非奇异,则矩阵形式的克拉美–拉奥不等式为
Cov θ ( T ) ⪰ G ( θ ) I ( θ ) − 1 G ( θ ) T . \operatorname{Cov}_\theta(T) \succeq G(\theta)I(\theta)^{-1}G(\theta)^{\mathsf T}. Cov θ ( T ) ⪰ G ( θ ) I ( θ ) − 1 G ( θ ) T .
符号 ⪰ \succeq ⪰ 表示两者之差为半正定矩阵。
这一结果比单独给出各分量方差的下界更强。对于任意固定向量 a a a ,都有
Var θ ( a T T ) ≥ a T G I − 1 G T a . \operatorname{Var}_\theta(a^{\mathsf T}T) \geq a^{\mathsf T}GI^{-1}G^{\mathsf T}a. Var θ ( a T T ) ≥ a T G I − 1 G T a .
因此,该不等式约束了各估计量的所有线性组合,包括受协方差影响的组合。当 g ( θ ) = θ g(\theta)=\theta g ( θ ) = θ 时,雅可比矩阵为单位矩阵,下界便化为 I − 1 I^{-1} I − 1 。矩阵情形的证明沿用标量情形的思路,将中心化后的估计量投影到所有得分分量张成的空间上。
干扰参数是描述观测数据所必需、但本身并非估计目标的参数。记 θ = ( ψ , λ ) \theta=(\psi,\lambda) θ = ( ψ , λ ) ,其中 ψ \psi ψ 为目标参数,λ \lambda λ 为干扰参数,并将信息矩阵分块:
I = ( I ψ ψ I ψ λ I λ ψ I λ λ ) . I= \begin{pmatrix} I_{\psi\psi}&I_{\psi\lambda}\\ I_{\lambda\psi}&I_{\lambda\lambda} \end{pmatrix}. I = ( I ψ ψ I λ ψ I ψ λ I λλ ) .
对于标量目标参数,当相关逆矩阵存在时,
Var ( ψ ^ ) ≥ ( I ψ ψ − I ψ λ I λ λ − 1 I λ ψ ) − 1 . \operatorname{Var}(\widehat\psi) \geq \left( I_{\psi\psi} -I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi} \right)^{-1}. Var ( ψ ) ≥ ( I ψ ψ − I ψ λ I λλ − 1 I λ ψ ) − 1 .
括号中的量是从目标参数的得分中投影去除干扰参数得分方向上的分量后,所剩余的信息。它不大于 I ψ ψ I_{\psi\psi} I ψ ψ ,后者是干扰参数已知时所具有的信息。
对于以均值 μ \mu μ 和方差 v v v 参数化的正态分布,单个观测的信息矩阵为
I ( μ , v ) = ( 1 / v 0 0 1 / ( 2 v 2 ) ) . I(\mu,v)= \begin{pmatrix} 1/v&0\\ 0&1/(2v^2) \end{pmatrix}. I ( μ , v ) = ( 1/ v 0 0 1/ ( 2 v 2 ) ) .
非对角元素为零,意味着均值与方差的得分相互正交。对于 n n n 个观测,v v v 的无偏估计量的方差下界为 2 v 2 / n 2v^2/n 2 v 2 / n 。然而,通常使用的无偏样本方差,其方差为 2 v 2 / ( n − 1 ) 2v^2/(n-1) 2 v 2 / ( n − 1 ) 。这又是一个信息下界成立却未能达到的例子。
信息矩阵奇异的情形需要单独处理。它可能意味着参数坐标存在冗余,或局部统计识别 失效,不过一阶信息矩阵奇异并不总意味着全局不可识别。使用广义逆给出下界时,目标函数的导数与信息矩阵的值域之间必须满足相容条件;仅仅机械地替换逆矩阵并不够。
有偏估计与均方误差 无偏性是对估计量期望的约束,并非衡量估计质量的通用标准。对于 θ \theta θ 的估计量 T T T ,将其偏差 定义为
b ( θ ) = E θ [ T ] − θ . b(\theta)=E_\theta[T]-\theta. b ( θ ) = E θ [ T ] − θ .
同样的得分函数论证也适用于均值函数 m ( θ ) = θ + b ( θ ) m(\theta)=\theta+b(\theta) m ( θ ) = θ + b ( θ ) ,由此得到
Var θ ( T ) ≥ [ 1 + b ′ ( θ ) ] 2 I ( θ ) . \operatorname{Var}_\theta(T) \geq \frac{[1+b'(\theta)]^2}{I(\theta)}. Var θ ( T ) ≥ I ( θ ) [ 1 + b ′ ( θ ) ] 2 .
因此,其均方误差 满足
E θ [ ( T − θ ) 2 ] ≥ b ( θ ) 2 + [ 1 + b ′ ( θ ) ] 2 I ( θ ) . E_\theta[(T-\theta)^2] \geq b(\theta)^2+ \frac{[1+b'(\theta)]^2}{I(\theta)}. E θ [( T − θ ) 2 ] ≥ b ( θ ) 2 + I ( θ ) [ 1 + b ′ ( θ ) ] 2 .
若估计的是 g ( θ ) g(\theta) g ( θ ) ,则分子变为 [ g ′ ( θ ) + b ′ ( θ ) ] 2 [g'(\theta)+b'(\theta)]^2 [ g ′ ( θ ) + b ′ ( θ ) ] 2 。
偏差的导数至关重要。估计量在某个参数值处的偏差可能很小,但当参数在其附近变化时,估计量均值的变化却可能与参数的变化相差很大。克拉美–拉奥论证通过均值的导数来衡量这种局部响应。因此,仅知道某个孤立点处的偏差,并不能确定该点处适用的方差下界。对于 θ \theta θ 的估计,局部无偏性通常要求在所考察的点处,均值等于真实参数值,且均值的导数为 1。
一个简单的正态分布例子可以说明偏差-方差权衡 。假设用 X ‾ \overline X X 估计方差为已知值 σ 2 \sigma^2 σ 2 的正态分布的均值,考虑
T a = a X ‾ T_a=a\overline X T a = a X
其中 a a a 为固定常数。其偏差和方差分别为
b ( μ ) = ( a − 1 ) μ , Var μ ( T a ) = a 2 σ 2 n . b(\mu)=(a-1)\mu, \qquad \operatorname{Var}_\mu(T_a)=\frac{a^2\sigma^2}{n}. b ( μ ) = ( a − 1 ) μ , Var μ ( T a ) = n a 2 σ 2 .
由于 1 + b ′ ( μ ) = a 1+b'(\mu)=a 1 + b ′ ( μ ) = a ,该估计量达到了有偏估计的方差下界。其均方误差为
MSE μ ( T a ) = a 2 σ 2 n + ( a − 1 ) 2 μ 2 . \operatorname{MSE}_\mu(T_a) = \frac{a^2\sigma^2}{n}+(a-1)^2\mu^2. MSE μ ( T a ) = n a 2 σ 2 + ( a − 1 ) 2 μ 2 .
当 0 < a < 1 0<a<1 0 < a < 1 时,在 μ = 0 \mu=0 μ = 0 附近,它的表现优于样本均值;但在距离零足够远的地方,偏差项会使其表现更差。
常数估计量是一个极端但有用的例子。若 T = c T=c T = c ,则其方差为零,偏差为 c − θ c-\theta c − θ ,且 1 + b ′ ( θ ) = 0 1+b'(\theta)=0 1 + b ′ ( θ ) = 0 。有偏估计的不等式与其零方差相容,而其平方误差为 ( c − θ ) 2 (c-\theta)^2 ( c − θ ) 2 。若不施加额外限制,就不可能存在一个正的逐点下界,使其在每个参数值处都适用于所有可能估计量的均方误差。
这些区别对于正则化 方法十分重要,其中包括岭回归 及其他收缩方法。这类估计量可能有意接受偏差,以减小误差。无偏估计的信息下界并不是其风险的通用下界。分析这类估计量,需要采用考虑偏差的不等式,或使用其他准则,例如积分风险、极小极大风险,或在指定参数邻域内的表现。
大样本有效性与似然方法 在许多正则模型中,有限样本下无法精确达到信息下界,但随着样本量增大,极大似然估计量会趋近这一下界。在保证可识别性、相合性以及适当光滑性的条件下,
n ( θ ^ n − θ 0 ) → d N ( 0 , I 1 ( θ 0 ) − 1 ) . \sqrt n(\widehat\theta_n-\theta_0) \xrightarrow{d} N\!\left(0,I_1(\theta_0)^{-1}\right). n ( θ n − θ 0 ) d N ( 0 , I 1 ( θ 0 ) − 1 ) .
上述记号表示依分布收敛,I 1 I_1 I 1 表示单个观测所含的信息量。对于向量参数,极限分布是多元正态分布 。这一结论涉及渐近分布;实际方差的收敛还需要对矩或尾部作进一步控制。
其机制在于将似然得分在真实参数附近展开。如果内部极大值点满足 U n ( θ ^ n ) = 0 U_n(\widehat\theta_n)=0 U n ( θ n ) = 0 ,则一阶展开可示意性地写为
0 ≈ U n ( θ 0 ) + H n ( θ 0 ) ( θ ^ n − θ 0 ) , 0\approx U_n(\theta_0) + H_n(\theta_0)(\widehat\theta_n-\theta_0), 0 ≈ U n ( θ 0 ) + H n ( θ 0 ) ( θ n − θ 0 ) ,
其中,H n H_n H n 是对数似然的海森矩阵 。通常有
n − 1 / 2 U n ( θ 0 ) → d N ( 0 , I 1 ( θ 0 ) ) , − 1 n H n ( θ 0 ) → P I 1 ( θ 0 ) . n^{-1/2}U_n(\theta_0) \xrightarrow{d}N(0,I_1(\theta_0)), \qquad -\frac{1}{n}H_n(\theta_0) \xrightarrow{P}I_1(\theta_0). n − 1/2 U n ( θ 0 ) d N ( 0 , I 1 ( θ 0 )) , − n 1 H n ( θ 0 ) P I 1 ( θ 0 ) .
第一个极限由中心极限定理 得到,第二个极限通常由大数定律 得到。两者结合可得
n ( θ ^ n − θ 0 ) ≈ I 1 ( θ 0 ) − 1 U n ( θ 0 ) n . \sqrt n(\widehat\theta_n-\theta_0) \approx I_1(\theta_0)^{-1}\frac{U_n(\theta_0)}{\sqrt n}. n ( θ n − θ 0 ) ≈ I 1 ( θ 0 ) − 1 n U n ( θ 0 ) .
这解释了为何报告的标准误 中经常出现信息量的逆。期望信息或观测到的似然曲率可以给出大样本下的协方差近似,进而构造近似置信区间 。在小样本、参数接近边界或似然函数远非二次函数时,这些近似可能并不准确。因此,仅凭海森矩阵的逆,并不能保证有限样本下的精度。
局部渐近正态性 框架提供了更一般的解释。它研究形如
θ = θ 0 + h n , \theta=\theta_0+\frac{h}{\sqrt n}, θ = θ 0 + n h ,
的备择参数;在这类参数下,正则模型趋近于高斯平移试验。随后,对估计量采用适当的正则性定义,便可得到不要求有限样本下严格无偏的渐近信息下界。正是在这一框架下,信息量的逆成为正则大样本估计的一般性极限。
估计量的正则性仍然至关重要。霍奇斯型超有效估计量在某些特定参数值处的极限误差,可能小于通常的信息基准,但沿着附近的参数序列却可能表现不佳。这既不违背有限样本下的无偏估计不等式,也不违背渐近理论。逐点渐近性质弱于在收缩邻域上的一致性质。
非正则模型与适用范围的局限 一种典型的失效情形是分布的支撑集依赖于参数。设 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n 是来自区间 ( 0 , θ ) (0,\theta) ( 0 , θ ) 上的均匀分布 的独立观测,其中 θ > 0 \theta>0 θ > 0 。在远离变动边界的位置,对对数密度求导似乎得到
U θ = − n θ . U_\theta=-\frac{n}{\theta}. U θ = − θ n .
这不可能是正则模型中的得分,因为它的期望不为零。遗漏的贡献来自支撑集的变化,而通常的积分号下求导无法反映概率的全部变化。
样本最大值 M = max i X i M=\max_iX_i M = max i X i 的期望为 n θ / ( n + 1 ) n\theta/(n+1) n θ / ( n + 1 ) ,因此
T = n + 1 n M T=\frac{n+1}{n}M T = n n + 1 M
是 θ \theta θ 的无偏估计量。其方差为
Var θ ( T ) = θ 2 n ( n + 2 ) . \operatorname{Var}_\theta(T) = \frac{\theta^2}{n(n+2)}. Var θ ( T ) = n ( n + 2 ) θ 2 .
这一方差以 n − 2 n^{-2} n − 2 的阶下降,而不是正则模型中通常的 n − 1 n^{-1} n − 1 阶。这并不违反克拉美–拉奥定理,因为所需的得分恒等式并不成立。表面上的矛盾,源于在正则模型公式的假设条件不成立时仍然套用该公式。
边界参数带来的是另一种困难。对于伯努利分布的概率参数 p p p ,正则情形下的信息量公式适用于 0 < p < 1 0<p<1 0 < p < 1 ;当 p = 0 p=0 p = 0 或 p = 1 p=1 p = 1 时,分布退化,且无法对参数作双侧扰动。同样,受非负约束的方差分量在真值为零时,也可能具有非正态的极限分布。模型在参数空间内部可能是光滑的,但在边界处仍可能需要采用不同的渐近分析方法。
其他复杂情形还包括信息量无穷大、模型不可微,以及信息矩阵在某些参数值处变为奇异矩阵。当混合模型的组分重合或某个混合权重变为零时,模型可能失去正则性。参数维数不断增加,或允许干扰参数的数量不断增加时,也需要固定维数理论之外的假设。仅仅在形式上求出似然的导数,并不能证明某个特定的信息界有意义。
模型误设则引出了另一个问题。如果数据的实际分布不属于假定的分布族,似然估计量可能收敛到使真实分布到模型的KL散度 最小的参数。在适当条件下,其渐近协方差具有如下三明治形式:
A − 1 B A − 1 , A^{-1}BA^{-1}, A − 1 B A − 1 ,
其中,A A A 是在该极限参数处对数似然的海森矩阵期望的负值,B B B 是该处得分的协方差矩阵。模型设定正确时,A = B = I A=B=I A = B = I ;否则,这一恒等式未必成立。因此,即使似然函数的数值最大化成功,通常基于信息矩阵求逆的不确定性计算仍可能失真。
实验设计与测量应用 信息不仅取决于参数,还取决于数据的采集方式。如果实验由设计变量 d d d 控制,其信息可写为 I ( θ ; d ) I(\theta;d) I ( θ ; d ) 。独立测量所贡献的信息可以相加,因此可以据此比较不同的测量时长、传感器位置、刺激设置或样本分配方案。对于标量估计,信息最大化意味着克拉美–拉奥方差基准最小化。这种比较只有相对于所假定的观测模型,并考虑其中的干扰参数时才有意义。
例如,在正态线性回归 模型
Y = X β + ε , ε ∼ N ( 0 , σ 2 I n ) , Y=X\beta+\varepsilon, \qquad \varepsilon\sim N(0,\sigma^2I_n), Y = X β + ε , ε ∼ N ( 0 , σ 2 I n ) ,
中,若 σ 2 \sigma^2 σ 2 已知,且设计矩阵固定、列满秩,则
I ( β ) = 1 σ 2 X T X . I(\beta)=\frac{1}{\sigma^2}X^{\mathsf T}X. I ( β ) = σ 2 1 X T X .
普通最小二乘法 估计量的协方差为
σ 2 ( X T X ) − 1 \sigma^2(X^{\mathsf T}X)^{-1} σ 2 ( X T X ) − 1
并达到该下界。设计矩阵的列若近似线性相关,信息矩阵就会呈现病态,使某些参数组合的方差很大。这一统计现象源于某种几何结构,而同一结构也会在求解回归方程时造成数值困难。
对于向量估计问题,不存在普遍最优的单一设计准则。D-最优设计使信息矩阵的行列式最大化,相当于缩小局部不确定性椭球的体积。A-最优设计使信息矩阵的逆的迹最小化,而 E-最优设计使信息矩阵的最小特征值最大化。针对某个指定对比 c T β c^{\mathsf T}\beta c T β 的准则,则着重于 c T I − 1 c c^{\mathsf T}I^{-1}c c T I − 1 c 。这些目标可能各自偏向不同的设计。在非线性模型中,信息通常依赖于未知参数值,因此局部设计计算可能采用标称值,而贝叶斯或稳健方法则通过对参数不确定性取平均,或针对其影响提供保障来处理这一问题。
测量应用中的导数结构往往尤为清晰。假设
Y i = s i ( θ ) + ε i , ε i ∼ N ( 0 , σ 2 ) Y_i=s_i(\theta)+\varepsilon_i, \qquad \varepsilon_i\sim N(0,\sigma^2) Y i = s i ( θ ) + ε i , ε i ∼ N ( 0 , σ 2 )
且各误差相互独立,噪声方差已知。则
I ( θ ) = 1 σ 2 ∑ i ( ∂ s i ( θ ) ∂ θ ) 2 . I(\theta)=\frac{1}{\sigma^2} \sum_i\left(\frac{\partial s_i(\theta)}{\partial\theta}\right)^2. I ( θ ) = σ 2 1 i ∑ ( ∂ θ ∂ s i ( θ ) ) 2 .
相对于噪声而言,预测信号随目标参数变化越显著,相应测量所含的信息就越多。对于信号 s ( t − τ ) s(t-\tau) s ( t − τ ) 中的时延 τ \tau τ ,其关于时延的导数与信号的时间导数成正比。这将时延估计精度与信号带宽联系起来,也解释了信息界为何被用于雷达、定位和通信领域。
未知的幅度、偏置或噪声特性可能通过干扰参数耦合减少可用信息。在光子计数成像中,泊松模型可导出类似公式,其中涉及期望计数的导数。这类界刻画的是理想化的统计精度,而非测量不确定度 的全部来源。校准误差、不准确的信号模型、未消除的歧义以及估计量失效,都可能产生计算所得界限未能涵盖的误差。
推广与相关信息界 经典结果是局部的,并以导数为基础。相比之下,哈默斯利—查普曼—罗宾斯界 比较的是不同参数值所对应的分布。若 P θ ′ P_{\theta'} P θ ′ 关于 P θ P_\theta P θ 绝对连续,则在相应的可积性条件下,g ( θ ) g(\theta) g ( θ ) 的无偏估计量满足
Var θ ( T ) ≥ [ g ( θ ′ ) − g ( θ ) ] 2 E θ [ ( p θ ′ ( X ) p θ ( X ) − 1 ) 2 ] . \operatorname{Var}_\theta(T) \geq \frac{[g(\theta')-g(\theta)]^2} {E_\theta\!\left[ \left(\frac{p_{\theta'}(X)}{p_\theta(X)}-1\right)^2 \right]}. Var θ ( T ) ≥ E θ [ ( p θ ( X ) p θ ′ ( X ) − 1 ) 2 ] [ g ( θ ′ ) − g ( θ ) ] 2 .
对所有容许的 θ ′ \theta' θ ′ 取上确界,可以改进这一下界。在正则模型中,当 θ ′ → θ \theta'\to\theta θ ′ → θ 时取极限,就能得到克拉美—拉奥表达式。在不具备可微性的情况下,有限差分界仍可能有用,但仍须注意支撑集和绝对连续性条件。
巴兰金界 利用一组备选参数值及其似然比,对无偏估计给出更严格的约束。另一项互补的结果是拉奥—布莱克韦尔定理 :通过对无偏估计量求给定充分统计量 下的条件期望 ,可以改进该估计量。这一操作不会增大方差,但未必能得到达到信息下界的估计量。充分统计量方法与信息不等式处理的问题相互关联,却又有所不同:前者关注如何改进估计量,后者关注其方差究竟能小到什么程度。
在贝叶斯推断 中,范特里斯不等式 给出了按先验分布 平均的风险下界。在标量情形下,设先验密度为 π \pi π ,在满足适当光滑性条件且边界项为零时,有
E [ ( T ( X ) − θ ) 2 ] ≥ 1 E π [ I ( θ ) ] + I π , I π = ∫ ( d d θ log π ( θ ) ) 2 π ( θ ) d θ . E[(T(X)-\theta)^2] \geq \frac{1}{E_\pi[I(\theta)]+I_\pi}, \qquad I_\pi= \int\left(\frac{d}{d\theta}\log\pi(\theta)\right)^2 \pi(\theta)\,d\theta. E [( T ( X ) − θ ) 2 ] ≥ E π [ I ( θ )] + I π 1 , I π = ∫ ( d θ d log π ( θ ) ) 2 π ( θ ) d θ .
与经典的无偏估计下界不同,它适用于积分平方误差,并不要求估计量无偏。它不是针对每个固定参数值成立的逐点不等式。边界条件是定理的一部分,在应用上述公式时不可省略。
在信息几何中,费舍尔信息在正则统计模型上定义了一个度量张量 。一个微小位移的统计长度平方为
d s 2 = d θ T I ( θ ) d θ . ds^2=d\theta^{\mathsf T}I(\theta)\,d\theta. d s 2 = d θ T I ( θ ) d θ .
这一度量的变换法则解释了为何信息界在光滑的参数坐标变换下保持一致。在半参数统计 中,干扰参数可以是无限维的。将目标得分投影到干扰得分方向所张成空间之闭包的正交补上,就能得到有效得分及相应的下界,从而将有限维干扰参数的构造推广到这一情形。
在量子力学 中,观测结果的分布既取决于量子态,也取决于所实施的测量。量子费舍尔信息 对可获取的关于态参数的经典信息给出了一个与测量无关的极限。对于单个参数,量子克拉美—拉奥界约束的是局部无偏估计;能否达到该界,取决于允许采用的测量方式和重复方案。在多参数问题中,对不同参数分别最优的测量可能互不相容,因此量子信息矩阵的逆所给出的界未必能够同时达到。更精细的量子界则明确考虑了这种不相容性。