费希尔信息

费希尔信息是一个数学度量，衡量当未知参数改变时，概率分布发生变化的敏感程度。它通过似然函数的对数的导数平方的期望来定义；当涉及多个参数时，则通过这类期望值构成的矩阵来定义。在适当的正则条件下，它也等于对数似然函数负曲率的期望。它描述的是统计模型在给定参数值处的一项性质，而非某一次具体观测中所包含的信息。(stat210a.berkeley.edu)

它在统计学中的核心重要性，源于这种敏感性与估计精度之间的联系。Cramér–Rao 不等式利用费希尔信息的逆来界定无偏估计量的方差，而大样本理论则利用它来描述最大似然估计的不确定性。费希尔信息还支撑不变先验的构造以及统计模型的几何解释。(arxiv.org)

该概念以罗纳德·费希尔命名，并与似然、充分性和有效性共同发展于二十世纪统计学理论中。如今，其应用已扩展到实验设计、机器学习中的优化以及量子参数估计。期望信息、观测信息和经验信息之间的区别——以及各自背后的假设——对这些应用至关重要。(digital.library.adelaide.edu.au)

得分函数与信息量的定义

设 $\{P_\theta:\theta\in\Theta\}$ 为一个受控参数模型，标量参数 $\theta$ 位于开集 $\Theta\subseteq\mathbb R$。这里“受控”是指模型中的所有分布相对于同一个与参数无关的测度 $\mu$ 都有密度 $p(x\mid\theta)$：离散观测取计数测度，连续观测通常取勒贝格测度。对于固定观测 $x$，对数似然为 $\ell(\theta;x)=\log p(x\mid\theta)$。在密度为正且可微处，得分函数 为

求导针对参数而非观测：当 $\theta$ 变化时，$x$ 保持不变。因此，得分函数是对数似然的局部变化率；当观测按 $P_\theta$ 抽取时，$s_\theta(X)$ 成为一个随机变量。(stat210a.berkeley.edu)

标量费雪信息量是得分函数平方的期望值，

对于可数支撑 $\mathcal X$ 上的概率质量函数，它变为

对于连续支撑上的概率密度函数，它变为

这些表达式度量的是平方局部敏感度，并且是在与求导点相同的参数值下、对生成的观测取平均。它们非负；要有限，则得分函数必须平方可积。(stat.cmu.edu)

在适当的正则性条件下，得分函数的均值为零。一个标准的充分设定假设支撑与参数无关，在该支撑上密度为正，并且在所考虑参数的一个邻域内可微。若 $\lvert\partial_\theta p(x\mid\theta)\rvert$ 存在一个在该邻域上一致成立的可积上界，则可借助控制收敛定理在积分号下求导。对归一化恒等式求导，便得到

因此，$I(\theta)=\operatorname{Var}_\theta[s_\theta(X)]$：信息量是得分函数的方差，而不仅仅是其二阶矩。参数取值必须相匹配；在 $\theta'\ne\theta$ 时，在 $\theta$ 处求得的得分函数在 $P_{\theta'}$ 下的期望不一定为零。依赖参数的支撑可能引入边界项，从而使上述计算失效。(stat210a.berkeley.edu)

曲率表示还需要额外假设：密度二阶可微、证明二阶导数与积分可交换的条件，以及相关量可积。例如，在公共支撑设定下，若存在 $\lvert\partial_\theta^2p(x\mid\theta)\rvert$ 在邻域内一致成立的可积上界，并且信息量有限，就已足够。直接求导可得

取期望并利用 $\int\partial_\theta^2p(x\mid\theta)\,d\mu(x)=\partial_\theta^2 1=0$ 即可证明

该等式是正则模型中的一个恒等式，并不是对所有似然都无条件成立的替代定义。(stat.cmu.edu)

期望信息量 $I(\theta)$ 是对所有可能数据的平均。相比之下，观测信息量

由实际观测计算得到，通常依赖于实际观测。在曲率恒等式下，$\mathbb E_\theta[j(\theta;X)]=I(\theta)$，但二者在单个样本上未必相等。观测信息量也并非必须在每个参数值上都非负：在该特定对数似然二阶导数为正处，它为负；而期望信息量按平方得分定义，始终非负。(stat.umn.edu)

多参数信息量与干扰参数

对于参数向量 $\theta=(\theta_1,\ldots,\theta_d)^{\mathsf T}$，得分函数为对数似然对参数的偏导数组成的列向量：

假设得分函数具有有限二阶矩，且积分号下求导成立，从而 $E_\theta[s_\theta]=0$。于是 $I$ 就是它的协方差矩阵：$I_{jj}=E_\theta[s_j^2]$ 衡量在固定其余坐标时对 $\theta_j$ 的敏感度，而 $I_{jk}=E_\theta[s_js_k]$ 记录不同参数得分之间的交叉协方差。这些交叉项描述的是似然对参数不同变化的响应之间的重叠，而不是参数本身的相关性。(stat210a.berkeley.edu)

该矩阵是对称且半正定的，因为对任意 $a\in\mathbb R^d$，

这里 $a^{\mathsf T}s_\theta$ 是沿 $\theta+ta$ 的方向得分。在固定的参数单位下，特征值与特征向量中的特征值因而量化了沿相应特征向量的敏感度。零特征值对应一个得分几乎必然为零的方向：模型在该方向上不存在一阶敏感度。这一局部结论并不能说明不同的参数值会产生相同的分布。特征值的大小还取决于所选的参数坐标。(stat210a.berkeley.edu)

将 $\theta=(\psi^{\mathsf T},\lambda^{\mathsf T})^{\mathsf T}$ 分块，其中 $\psi$ 是推断目标，$\lambda$ 包含干扰参数，并写作

若 $\lambda$ 已知，相关信息为 $I_{\psi\psi}$。若必须估计它，$\lambda$ 的变化可能部分重现似然对 $\psi$ 变化的响应。因此，可用于区分目标参数与这些干扰变化的信息，并不等同于目标参数对应的对角块本身。(web.stanford.edu)

当 $I_{\lambda\lambda}$ 可逆时，去掉目标得分在干扰得分上的线性投影：

事实上，

展开残差的协方差即得有效信息

即干扰块的舒尔补。被减去的矩阵半正定，因此估计干扰参数不会比已知干扰参数时增加信息。对于非奇异的完整矩阵，分块求逆给出 $(I^{-1})_{\psi\psi}=I_{\mathrm{eff}}^{-1}$，而不是 $I_{\psi\psi}^{-1}$。(sciencedirect.com)

一个数值示例可明确区分两者。设两个标量参数的信息量为

且第一个参数是关注目标。当第二个参数已知时，其信息量为 $4$；当第二个参数必须估计时，则为 $4-2^2/3=8/3$。相应地，完整矩阵逆矩阵中的目标项为 $3/8$，而已知干扰参数信息量的逆为 $1/4$。这些是块逆恒等式的结果；把它们解释为方差下界或渐近协方差的尺度，还需要相应的估计假设。(web.stanford.edu)

当 $I_{\psi\lambda}=0$ 时，两个分块彼此信息正交，此时 $I_{\mathrm{eff}}=I_{\psi\psi}$。在某一参数值处的正交性是逐点性质；整个模型上的正交性取决于参数化方式。例如，正态分布的均值和标准差具有零交叉信息。因此，估计标准差不会降低关于均值的有效信息，尽管未知的尺度仍会影响有限样本的置信推断。信息正交指得分分块不相关，而不一定指得分独立或估计量独立。(arxiv.org)

算例模型与参数化选择

对于来自 伯努利分布 的单次观测 $X$，设 $P(X=1)=p$ 且 $0<p<1$，其对数似然和得分函数为

由于 $\operatorname{Var}(X)=p(1-p)$，取得分函数平方的期望可得

对于具有已知试验次数 $n$ 的 二项分布 计数 $K$，得分函数为 $(K-np)/[p(1-p)]$。利用 $\operatorname{Var}(K)=np(1-p)$ 计算其方差，可得 $I_p(p)=n/[p(1-p)]$，与底层 $n$ 次独立伯努利试验的信息量相同。 (pages.stat.wisc.edu)

在 对数几率 坐标 $\eta=\log[p/(1-p)]$ 中，伯努利对数似然变为 $x\eta-\log(1+e^\eta)$。此时求导给出 $s_\eta(x)=x-p$，因此

因此，在概率坐标下，信息量随 $p$ 趋近任一端点而发散；而在对数几率坐标下，信息量趋于零。这一差异反映坐标尺度：$dp/d\eta=p(1-p)$，故 链式法则 给出 $I_\eta=(dp/d\eta)^2I_p$。例如，在 $p=1/2$ 处，单次试验的相应取值分别为 $4$ 和 $1/4$。它们是对同一实验的不同描述，并非对其信息量的矛盾评价；这些公式针对的是内部概率，而不是边界模型本身。 (stat.berkeley.edu)

对于来自 泊松分布、均值为 $\lambda>0$ 的 $X$，

由于 $\operatorname{Var}(X)=\lambda$，$I_\lambda(\lambda)=1/\lambda$。若改用 $\eta=\log\lambda$，则 $\ell(\eta;x)=x\eta-e^\eta-\log(x!)$，得分函数为 $x-\lambda$，且 $I_\eta(\eta)=\lambda$。因此，增大 $\lambda$ 会减少关于均值加性变化的信息量，但会增加关于对数尺度（即相对尺度）变化的信息量。这里 $\lambda$ 是规定观测区间内的期望计数；将其等同于速率意味着假定区间长度为一。 (stat.berkeley.edu)

对于单次正态观测 $X\sim N(\mu,\sigma^2)$（$\sigma>0$），对数密度求导可得

令 $Z=(X-\mu)/\sigma$，则这两个得分函数分别为 $Z/\sigma$ 和 $(Z^2-1)/\sigma$。利用 $E(Z^2)=1$、$E(Z^3)=0$ 和 $E(Z^4)=3$，其期望乘积给出

交叉项消失，因为 $E[Z(Z^2-1)]=0$。在方差坐标 $v=\sigma^2$ 下，第二个得分函数变为 $[(X-\mu)^2-v]/(2v^2)$，从而

特别地，关于标准差的信息量为 $2/\sigma^2$，而关于方差的信息量为 $1/(2\sigma^4)$；这些量不可互换。 (stat.berkeley.edu)

这些计算在以自然坐标表示的正则 指数族 中共享一个一般机制：

这里 $T(X)$ 是规范 充分统计量，$A$ 起归一化密度的作用。当自然参数取内部值时，在归一化积分下求导可得

因此，得分函数就是中心化统计量 $T(X)-E_\eta[T(X)]$，信息量既是它的协方差矩阵，也是 $A$ 的 海森矩阵。伯努利模型和泊松模型中，$A(\eta)$ 分别为 $\log(1+e^\eta)$ 和 $e^\eta$。海森恒等式特别要求使用自然坐标：若对任意参数 $\theta$ 对 $A(\eta(\theta))$ 求二阶导数，一般得不到其信息矩阵。 (stat210a.berkeley.edu)

克拉美—罗不等式与有效性

设 $X$ 表示整个观测样本，其联合密度函数或质量函数为 $p_\theta(x)$，令 $S_\theta(X)=\partial_\theta\log p_\theta(X)$ 为其得分函数。假设参数为标量且位于内点，支撑集不依赖于参数，归一化条件与估计量期望均可在积分（或求和）号下求导，且二阶矩有限，并满足 $0<I(\theta)<\infty$。对于不依赖参数的 估计量 $T(X)$，若在整个邻域内满足 $E_\theta[T]=g(\theta)$，求导可得 协方差 恒等式

其中最后一步用到 $E_\theta[S_\theta]=0$；在离散模型中，将积分替换为求和。由 柯西—施瓦茨不等式 可得

这就是 克拉美—罗不等式，又称信息不等式。(stat210a.berkeley.edu)

该界中的信息是整个样本的信息，而不是单个观测的信息。对于 $n$ 个独立同分布观测值，若每个观测的信息为 $I_1(\theta)$，则界变为 $[g'(\theta)]^2/[nI_1(\theta)]$。例如，若 $X_i\sim N(\mu,\sigma^2)$ 且 $\sigma^2$ 已知，样本得分函数为 $S_\mu=n(\bar X-\mu)/\sigma^2$，信息为 $n/\sigma^2$。样本均值 的方差为 $\sigma^2/n$，在估计 $\mu$ 时恰好达到该界。这是一个精确的有限样本结果，而非大样本近似。(stat.cmu.edu)

对于 $d$ 维参数向量 $\theta$，假设 $E_\theta[T]=\theta$，相应的求导恒等式逐分量成立，且样本信息矩阵 $I(\theta)=E_\theta[SS^{\mathsf T}]$ 有限且非奇异。则

这里的序关系表示 $\operatorname{Cov}_\theta(T)-I(\theta)^{-1}$ 是半正定矩阵：任一线性组合 $a^{\mathsf T}T$ 的方差至少为 $a^{\mathsf T}I(\theta)^{-1}a$。事实上，残差 $T-\theta-I(\theta)^{-1}S$ 的协方差矩阵正好等于该差值，从而给出直接证明。它不是矩阵之间的逐元素不等式。(stat.cmu.edu)

在标量情形下，当且仅当

时等号成立。因此，中心化估计量必须与得分函数成比例；矩阵情形下等号成立则要求几乎处处有 $T-\theta=I(\theta)^{-1}S$。对于非零界和正的估计量方差，有限样本有效性可表示为 $e_\theta(T)=[g'(\theta)]^2/\{I(\theta)\operatorname{Var}_\theta(T)\}$。在整个参数空间都达到等号的无偏估计量称为有效估计量。然而，该界未必可达到：未达到该界并不能证明存在更优的无偏估计量。有限样本可达性与渐近有效性不同，后者关注样本量趋于无穷时估计量的极限表现。(stat210a.berkeley.edu)

对于 $g(\theta)$ 的有偏估计量，将其 估计量的偏差 定义为 $b(\theta)=E_\theta[T]-g(\theta)$。将协方差论证应用于其实际期望，可得

对于估计 $\theta$ 本身，分子为 $[1+b'(\theta)]^2$。均方误差 既包括偏差的平方，也包括方差，因此有偏估计量的均方误差可能低于无偏情形下的克拉美—罗界，这并不矛盾。仅在单个参数值处无偏不足以套用无偏公式：期望的导数，因而偏差的导数，同样重要。(cpb-us-e1.wpmucdn.com)

大样本下的似然推断

对于来自正确指定、可辨识模型的独立同分布观测 $X_1,\ldots,X_n$，若其固定维数参数为 $\theta\in\mathbb R^d$，则正则极大似然估计量满足

这里 $\theta_0$ 是真实参数，$I_1(\theta_0)$ 是单个观测的期望信息量，$\Rightarrow$ 表示依分布收敛。因此，大样本正态近似的协方差是 $I_1(\theta_0)^{-1}/n$，而不是 $I_1(\theta_0)^{-1}$。该定理要求的条件不止可微：典型假设包括所选极大值点的一致性、真实参数位于内部、信息矩阵有限且非奇异，以及对 $\theta_0$ 附近似然导数的充分控制。这些条件排除了在参数边界处或奇异模型中的常规应用。(stat210a.berkeley.edu)

其机制是对似然方程作局部展开。记 $\ell_n(\theta)=\sum_{i=1}^n\log p(X_i\mid\theta)$ 且 $U_n=\nabla\ell_n$，正则性给出

其中 $o_p(1)$ 依概率趋于零。中心极限定理 使标准化得分渐近正态，其协方差为 $I_1(\theta_0)$，而标准化的负似然曲率收敛到同一矩阵。一致性确保展开保持在适当邻域内；非奇异性允许求逆。由此得到的逆信息协方差体现了正则估计量中的渐近效率。它并不声称估计量精确无偏、有限样本均方误差最小，或在某个孤立参数值处优于每一个估计量。(stat210a.berkeley.edu)

由于 $\theta_0$ 未知，估计量协方差矩阵的两个标准近似为

第一个近似将估计值代入期望信息量；第二个近似使用观测似然的海森矩阵。在相应的连续性和收敛性假设下，二者有一阶相同的渐近极限，尽管在特定样本中它们未必一致。估计的标准误是任一矩阵对角线元素的平方根。当多个参数联合估计时，相关量是完整逆矩阵的对角线元素，而通常不是信息矩阵对角元素的倒数。(stat.cmu.edu)

对于标量参数，Wald 置信区间 为 $\hat\theta_n\pm z_{1-\alpha/2}\sqrt{\widehat V}$，其中 $z_{1-\alpha/2}$ 是标准正态分位数。对于简单零假设 $H_0:\theta=\theta_\ast$，向量 Wald 统计量为

反转该检验可得到一个近似置信椭球。例如，在 $n=400$ 且 $\hat p=0.30$ 的伯努利样本中，基于信息的标准误为 $\sqrt{0.30(0.70)/400}\approx0.0229$；近似的 95% Wald 区间为 $0.255$ 到 $0.345$。这一计算旨在说明近似性质，而不是证明精确的 95% 覆盖。(stat210a.berkeley.edu)

信息量还在零假设下对得分进行标准化：

与 Wald 统计量不同，得分统计量使用在零假设处而不是无约束估计处求值的导数。似然比统计量

比较的是无约束最大值点与受零假设约束的最大值点。对于施加 $r$ 个独立约束的光滑嵌套零假设，其极限分布为 $\chi_r^2$；相应的 Wald 检验和得分检验具有一阶相同的渐近行为。信息量通过局部二次似然展开进入该结果。当存在烦恼参数时，得分计算使用受限估计，并采用经这些参数估计调整后的信息量。尽管这些检验渐近等价，它们仍可能给出不同的有限样本结果；而且无论它们的卡方校准还是置信区域覆盖，都不是一般意义上的精确保证。(katsevich-teaching.github.io)

组合观测与信息保留

对于满足统计独立性的观测 $X_1,\ldots,X_n$，其分布 $p_i(x_i\mid\theta)$ 可以不同，联合似然可分解，且其得分函数是各个得分函数之和：

在正则条件下，若每个得分函数的均值均为零且二阶矩有限，则独立性使得交叉项 $E_\theta[s_i s_j^{\mathsf T}]$ 在 $i\ne j$ 时消失。因此，

同分布观测给出特例 $I_n=nI_1$。若观测之间存在依赖关系，则必须用联合概率分布来确定得分函数：简单将边缘信息相加通常会遗漏依赖结构。例如，记录同一随机结果两次，并不会提供两个独立观测，也不会使其信息翻倍。这些结论来自似然分解和得分协方差，而非仅来自样本量。 (stat210a.berkeley.edu)

设 $T$ 是数据 $X$ 的一个不依赖参数的约化，其中包括条件密度为 $k(t\mid x)$、且与 $\theta$ 无关的随机观测通道。其密度为 $q_\theta(t)=\int k(t\mid x)p_\theta(x)\,dx$。若允许对积分号下求导，且得分函数平方可积，则

因此，约化数据的得分函数是原始得分函数的条件期望，通常并不是其在某个估计观测或重建观测处的取值。确定性统计量 $T=T(X)$ 满足同一恒等式，可通过其诱导分布来理解。条件得分恒等式在二次均方意义下可导这一更一般的正则性框架下也成立。 (arxiv.org)

条件协方差分解于是给出

因此，数据约化不可能使任何参数方向上的期望信息增加。当且仅当得分函数可由 $T$ 确定，并且在所关心的参数值处几乎必然成立时，等号成立。充分统计量之所以能保持信息，是因为给定 $T$ 时 $X$ 的条件分布不依赖参数。对于独立伯努利试验，仅保留成功次数即可保持得分函数 $(T-np)/[p(1-p)]$，从而保持信息 $n/[p(1-p)]$。然而，仅保持信息并不必然蕴含充分性：Abram Kagan 和 Lawrence Shepp 在 2005 年的例子使用一个二元标签和一个连续位置观测，其成分密度分别位于位置参数的两侧。丢弃标签仍会保持费雪信息量，但其条件分布仍依赖参数。因此，若要得到逆命题，还需要额外假设。 (arxiv.org)

对于不完整观测，将完整数据写为 $X=(Y,Z)$，其中 $Y$ 可观测，$Z$ 缺失或为隐变量。若 $s_c$ 是完整数据得分函数，则观测数据得分函数为 $s_o(Y)=E_\theta[s_c\mid Y]$。同一分解给出

此处 $I_m$ 衡量观测 $Y$ 之后仍剩余的得分不确定性。这三个量都是期望信息矩阵；$I_o$ 并非特定样本的负海森矩阵。 (arxiv.org)

Thomas A. Louis 于 1982 年提出的方法给出了对应的特定样本恒等式。设 $\ell_c(\theta;Y,Z)=\log p_\theta(Y,Z)$，$H_c=-\nabla_\theta^2\ell_c$，且观测对数似然为 $\ell_o(\theta;y)$，则

条件协方差中包含减去条件得分外积的项；在似然函数内部的平稳估计点处，该条件得分为零。使用期望最大化算法拟合后，Louis 恒等式可借助完整数据导数和隐变量的条件矩得到观测信息，而不必直接对边缘似然求导。仅有完整数据曲率的条件期望并不足够：还必须减去缺失得分协方差。 (markirwin.net)

统计几何与贝叶斯关联

设 $\theta=h(\eta)$ 是 $k$ 参数模型的一个光滑、局部可逆的坐标变换，并令 $J=\partial\theta/\partial\eta$ 为其 雅可比矩阵。由链式法则可得 $s_\eta=J^{\mathsf T}s_\theta$，因此取得分函数外积的期望得到

因此，信息矩阵的数值分量不具有坐标不变性：在一维情形中，$I_\eta=I_\theta(d\theta/d\eta)^2$。例如，若把正态均值的单位从米改为厘米，其信息量会被除以 $10^4$，因为 $\mu_{\mathrm m}=\mu_{\mathrm{cm}}/100$。尽管如此，二次型保持不变：$d\eta^{\mathsf T}I_\eta d\eta=d\theta^{\mathsf T}I_\theta d\theta$。改变单位改变的只是坐标描述，而不是该二次型所表示的统计敏感度。（pmc.ncbi.nlm.nih.gov）

在光滑、正则、可识别的统计 流形 上，若信息有限且正定，则上述变换律使 $I(\theta)$ 成为一个 度量张量。由此得到的费雪–拉奥度量给切向量 $u,v$ 赋予内积 $g_\theta(u,v)=u^{\mathsf T}I(\theta)v$，其无穷小线元为

因此曲线 $\theta(t)$ 的长度为 $\int\sqrt{\dot\theta(t)^{\mathsf T}I(\theta(t))\dot\theta(t)}\,dt$；在连接端点的曲线中取最小长度，就定义了相应的 测地线 距离。这里的正定性至关重要：仅凭可识别性并不能排除在特殊参数值处出现退化。因此，奇异信息矩阵不能在完整坐标空间上定义出一个普通的黎曼度量。（pmc.ncbi.nlm.nih.gov）

该度量也描述了 KL散度 的局部行为。使用自然对数，令 $F(\delta)=E_\theta[\log p_\theta(X)-\log p_{\theta+\delta}(X)]$。在允许对期望求导的共同支撑、可微性和可积性假设下，$F(0)=0$，$\nabla F(0)=-E_\theta[s_\theta]=0$，并且 $\nabla^2F(0)=-E_\theta[\nabla_\theta^2\log p_\theta]=I(\theta)$。因此，二阶 泰勒级数 展开给出

反向散度具有相同的二次项。这是一个局部关系，并不是对于彼此分离的分布，KL散度等于测地线距离平方的等式；KL散度通常不对称。（jmlr.org）

在 贝叶斯推断 中，杰弗里斯先验（由 Harold Jeffreys 于 1946 年提出）使用度量体积密度：

事实上，坐标变换公式意味着 $\sqrt{\det I_\eta}=|\det J|\sqrt{\det I_\theta}$，这正好是变换概率密度所需的雅可比因子。不变性意味着在任一坐标系中得到同一个测度，而不是其密度具有相同的数值表达式。对于伯努利概率 $p$，归一化密度为 $1/[\pi\sqrt{p(1-p)}]$。在坐标 $\phi=2\arcsin\sqrt p$（$0<\phi<\pi$）下，信息量等于 $1$，因此该测度变为均匀测度。（arxiv.org）

度量体积不一定有限。对于方差 $\sigma^2$ 已知的正态均值 $\mu$，$I(\mu)=1/\sigma^2$，从而在实数轴上得到非正规先验 $\pi_J(\mu)\propto1$。不过，只要 $n\geq1$ 个独立观测，就能得到正规的 后验分布 $N(\bar x,\sigma^2/n)$。一般地，后验分布的正规性要求

再参数化不变性并不能保证该条件成立。例如，对于均值 $\mu_0$ 已知而标准差未知的正态模型，杰弗里斯密度为 $1/\sigma$；如果所有观测值都等于 $\mu_0$，则后验核为 $\sigma^{-(n+1)}$，其在零处积分发散。这一特殊数据集说明，必须单独检查归一化。（www2.stat.duke.edu）

数值计算与学习算法

当似然函数具有易于处理的形式时，得分函数和信息矩阵可以通过解析微分计算；也可以通过自动微分计算，后者在计算图上应用链式法则，而不是使用有限差分。反向模式微分能够高效地评估具有许多参数的标量对数似然的得分函数。当期望无法解析获得时，可在固定参数值处采用蒙特卡洛方法，它使用独立抽样 $Z_m\sim p_\theta$：

在适当的可积条件下，该估计收敛到 $I(\theta)$。当信息恒等式成立时，对 $-\nabla_\theta^2\log p_\theta(Z_m)$ 取平均是另一种选择。外积估计对每个模拟样本都是半正定的；海森估计则未必如此。微分法把抽样得到的观测视为固定。(jmlr.org)

费舍尔评分法通过如下更新最大化样本对数似然 $\ell_n$

这里 $I_n$ 是整个样本的期望信息量，$\alpha_k$ 控制步长。牛顿法则使用观测到的负海森矩阵，$j_n=-\nabla_\theta^2\ell_n$。期望信息量是半正定的，而远离极大值处的观测曲率可能不定。两种方法在使用不加限制的完整步长时都不保证改进。在具有固定离散参数的规范广义线性模型中，期望曲率与观测曲率一致。对于逻辑回归，二者均等于 $X^{\mathsf T}WX$，其中 $W_{ii}=p_i(1-p_i)$；因此评分更新与牛顿更新一致。(stat.cmu.edu)

对于要最大化的可微目标函数 $L$ 以及非奇异的费舍尔信息量，自然梯度方向是 $I(\theta)^{-1}\nabla_\theta L$；最小化损失时则方向取反。局部地，该方向在固定二次代价 $d^{\mathsf T}I(\theta)d$ 下最大化一阶改进，对应于模型分布之间较小的 Kullback–Leibler 散度。对于预测器 $f_\theta(x)$，广义高斯–牛顿矩阵通过其雅可比矩阵将输出损失的曲率回传。当损失是指数族输出分布的负对数似然，且 $f_\theta(x)$ 给出其自然参数时，它等于条件费舍尔信息量——例如，softmax 的 logits，或方差固定的高斯均值。对于任意损失函数或输出参数化，这种相等关系并不成立。(arxiv.org)

在监督学习中，对观测输入取平均并不需要用训练标签替换模型分布的标签。记 $s_i(y)=\nabla_\theta\log p_\theta(y\mid x_i)$，模型期望费舍尔信息量与常被称为经验费舍尔信息量的估计分别为

后者在观测标签处对梯度取平均，而不是在模拟的模型标签处取平均，因此通常不是 $F$ 的蒙特卡洛估计。Frederik Kunstner、Lukas Balles 和 Philipp Hennig 在 2019 年考察了这一区别。对于均值为 $f_\theta(x_i)$、方差固定为 $\sigma^2$，且 $J_i=\nabla_\theta f_\theta(x_i)$ 的高斯回归，费舍尔信息量贡献为 $J_iJ_i^{\mathsf T}/\sigma^2$，而经验费舍尔信息量贡献为 $(y_i-f_\theta(x_i))^2J_iJ_i^{\mathsf T}/\sigma^4$。在精确插值时，即使前者仍不为零，后者也会消失。(papers.nips.cc)

对 $d$ 个参数的稠密矩阵需要 $O(d^2)$ 存储。矩阵-向量乘积可改用 $Fv=E[s(s^{\mathsf T}v)]$，从而无需显式构造 $F$ 即可进行迭代线性求解。对角、块对角和低秩近似能降低计算成本，但会丢弃结构。James Martens 和 Roger Grosse 于 2015 年提出的 Kronecker-factored Approximate Curvature 方法，利用较小的激活矩矩阵和反向传播导数矩矩阵的 Kronecker 积来近似神经网络的费舍尔信息量块，使近似求逆变得可行。(arxiv.org)

较小的特征值和噪声较大的估计可能使这些求解过程病态。阻尼将方程组替换为 $(\widehat F+\lambda\mathrm{Id})d=\nabla L$，其中 $\lambda>0$，以限制沿信息较弱方向的放大。步长控制用于处理把局部曲率当作在整个有限更新过程中都有效所带来的额外误差。阻尼和结构化近似是计算上的正则化，而不是精确的信息矩阵，并且通常会改变其重参数化性质。(arxiv.org)

实验设计与测量

在实验设计中，信息不仅取决于未知参数，还取决于可控制的观测设置。令 $u$ 表示一种设置，例如剂量、采样时间或仪器配置，并令 $I(\theta;u)$ 表示来自密度为 $p(y\mid\theta,u)$ 的一次观测的信息。一个设计 $\xi=\{(u_k,w_k)\}_{k=1}^{K}$ 指定设置及分配比例，其中 $w_k\geq0$ 且 $\sum_k w_k=1$。对于按这些比例分配的 $n$ 次独立观测，总信息为

精确设计要求每个 $nw_k$ 为整数；近似设计则把权重视为连续优化变量。观测密度必须包含测量噪声模型：改变噪声方差、相关性或响应分布，都会改变同一设置对应的信息。基于分配权重的表述既用于线性测量，也用于更一般的回归模型。(web.stanford.edu)

最优性判据把这个矩阵比较归约为标量目标，通常固定样本量或成本。D-最优性最大化 行列式 $\det I(\theta;\xi)$，或者当信息正定时等价地最大化 $\log\det I$。它最小化逆信息矩阵的行列式，并在正态近似下最小化固定水平置信椭球的体积。A-最优性最小化 矩阵的迹 $\operatorname{tr}(I^{-1})$，对应参数方差界限之和。E-最优性最大化最小特征值 $\lambda_{\min}(I)$；等价地，它最小化 $\lambda_{\max}(I^{-1})$，即单位长度参数对比中的最大方差界。这些最优性目标不一定选出相同的设计。A-最优性和 E-最优性还需要指定参数尺度，因为改变单位会改变各参数方向的相对权重。(itl.nist.gov)

对于高斯 线性回归，设 $Y=X\beta+\varepsilon$，其中设计矩阵 $X$ 固定，误差相互独立且服从分布 $N(0,\sigma^2)$，且 $\sigma^2$ 已知。对对数似然求导得到得分函数 $X^{\mathsf T}(Y-X\beta)/\sigma^2$，其协方差为

当 $X$ 的 矩阵的秩 等于其列数（列满秩）时，最小二乘估计量具有精确协方差 $\sigma^2(X^{\mathsf T}X)^{-1}$。秩亏会使某些系数组合不可识别；接近共线性会产生较小的信息特征值和相应方向上的较大方差。因此，重复观测能够增加信息；但如果每个重复都使用同一组不充分的回归向量，则无法消除秩亏。这些结果直接由高斯线性测量表述得到。(web.stanford.edu)

作为一个具体计算，考虑包含截距和斜率的情形，设置取 $x_i\in[-1,1]$。前面的公式给出

当 $n$ 为偶数时，将观测等量分配到 $-1$ 和 $1$ 可获得最大行列式 $n^2/\sigma^4$。取 $n=10$ 且 $\sigma^2=4$ 时，该设计给出 $I_\beta=\operatorname{diag}(2.5,2.5)$，因此两个系数的方差均为 $0.4$。若将全部 10 个观测都取在 $x=0$，则得到 $\operatorname{diag}(2.5,0)$，不提供任何斜率信息。这一端点结果只针对所指定的直线模型：若加入二次项，则同样的两设置设计会因秩亏而失败，因为在两个端点处都有 $x^2=1$。(web.stanford.edu)

在非线性模型或异方差模型中，信息通常依赖于未知参数值。局部最优设计在指定名义值 $\theta_0$ 处优化 $I(\theta_0;\xi)$。一种基于信息的贝叶斯替代方案是在 先验分布 上对某个判据取平均，例如最大化 $E_\pi[\log\det I(\theta;\xi)]$；这通常并不等价于最大化先验平均矩阵的对数行列式。一种稳健的替代方案是在指定参数区域上优化最坏情形表现，有时使用相对于每个参数值局部最优的效率。因此，先验分布或不确定区域、允许的设置、噪声假设以及所选判据，都是任何最优性结论的组成部分，而非次要细节。(conservancy.umn.edu)

信息论与量子扩展

费雪信息与信息熵量化概率模型的不同性质。熵描述结果的不确定性：对离散变量，$H(X)=-\sum_x p(x)\log p(x)$。互信息通过 $I(X;Y)=D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y)$ 描述依赖关系。这两个定义都不要求存在未知参数。费雪信息则通过对数密度的导数度量对指定参数的敏感度；其数值依赖于参数的单位。这些区别在连续分布中仍然存在，此时微分熵替代离散熵。因此，熵与费雪信息之间的联系连接的是不同量，而不是把它们等同起来。(arxiv.org)

对于 $\mathbb R^d$ 上可微的概率密度 $f$，平移信息泛函是

此处微分是对观测坐标进行的。充分的正则性条件包括密度为正且连续可微、$J(f)$ 有限、一阶导数可积，以及边界衰减足够强，使分部积分没有边界项贡献。在位置族 $p(x\mid\theta)=f(x-\theta)$ 中，参数得分是 $-\nabla\log f(x-\theta)$；因此，位置信息矩阵是 $\int(\nabla\log f)(\nabla\log f)^{\mathsf T}f\,dx$，而 $J(f)$ 是它的迹。与熵的一个直接联系是 de Bruijn 恒等式：若 $Z$ 是独立的标准高斯向量，且相关微分与积分均可正当化，则对 $t>0$，

使用自然对数。因此，平移信息度量高斯平滑下熵的增长速率。(arxiv.org)

在量子力学中，参数化态由一个密度矩阵 $\rho_\theta$ 表示。它的对称对数导数（SLD）是一个自伴算符 $L_\theta$，满足

这定义了量子费雪信息的 SLD 版本。对满秩态，SLD 唯一；对正则的固定秩族，其核–核分量上的任意性不影响 $F_Q$。对纯态 $\rho_\theta=|\psi_\theta\rangle\langle\psi_\theta|$，公式变为 $F_Q=4(\langle\partial_\theta\psi|\partial_\theta\psi\rangle-|\langle\psi|\partial_\theta\psi\rangle|^2)$。特别地，酉编码 $|\psi_\theta\rangle=e^{-i\theta G}|\psi_0\rangle$ 给出 $F_Q=4\operatorname{Var}_{\psi_0}(G)$，使敏感度显式依赖于生成元的涨落。(arxiv.org)

某个给定测量由正算符 $M_y$ 描述，满足 $\sum_yM_y=\mathbf1$，它产生经典概率 $p(y\mid\theta)=\operatorname{Tr}(\rho_\theta M_y)$ 和经典信息 $I_M(\theta)$。对于标量估计，$I_M(\theta)\leq F_Q(\theta)$；Samuel L. Braunstein 和 Carlton M. Caves 于 1994 年建立了测量最优化的刻画。局域地看，在 SLD 的特征基中测量可达到最大值，但所需基通常依赖于未知参数。对于 $n$ 次独立且相同的制备以及一个局域无偏估计量，量子 Cramér–Rao 界为

仅优化测量信息本身并不能保证有限样本估计效率；自适应测量可在合适的正则大样本设定中处理参数依赖问题。(doi.org)

对于多个参数，各自的 SLD 定义

当该矩阵非奇异时，局域无偏估计满足 $\operatorname{Cov}(\hat\theta)\succeq(nF_Q)^{-1}$。但与标量估计不同，一个测量未必能达到整个矩阵界：不同的 SLD 可能需要不相容的测量。对易的 SLD 允许存在共同特征基，并提供一个充分的相容性条件。单纯不相容并不具有决定性；较弱的条件 $\operatorname{Tr}(\rho[L_i,L_j])=0$ 决定正则集体测量表述中的渐近可达性。当相容性不成立时，可达精度需要考虑依赖于测量的折衷或更紧的界，而不能简单地将 $F_Q^{-1}$ 的每个对角元都解释为可同时达到。(quanestimation.github.io)

非正则模型与解释的局限

对于在 $(0,\theta)$ 上服从 均匀分布 且 $\theta>0$ 的 $X$，密度为 $p_\theta(x)=\theta^{-1}\mathbf 1_{\{0<x<\theta\}}$。在内部观测处，对数密度求导给出 $s_\theta(x)=-1/\theta$，因此

得分的均值因此非零，其二阶矩不是其方差，且曲率恒等式不成立。对归一化积分求导会涉及一个移动边界项：

忽略该项会使通常的 Cramér–Rao 论证失效。对于 $n$ 个独立观测，内部样本得分为 $-n/\theta$，其平方的期望是 $n^2/\theta^2$，而不是 $n/\theta^2$；通常的可加性论证也失效。记 $M=\max_iX_i$，无偏估计量 $T=(n+1)M/n$ 的方差为 $\operatorname{Var}_\theta(T)=\theta^2/[n(n+2)]$，甚至低于所谓界限 $\theta^2/n^2$。这并不违反任何有效不等式：其正则性假设并不存在。(ocw.mit.edu)

参数边界造成另一种障碍。例如，受约束非负的方差分量不能围绕真值零对称波动。Steven Self 和 Kung-Yee Liang 在 1987 年的分析通过高斯变量向可容许锥的投影描述边界极限；似然比统计量可能具有 卡方分布 的混合，而非通常的内部参数极限。不可微模型同样需要显式检验相关的光滑性条件，而不是自动使用 Hessian 公式。若 $E_\theta[s_\theta^2]=\infty$，则有限信息的二次近似及其通常的渐近协方差公式不可用：把 $1/\infty=0$ 当作可达的零方差是不正当的。替代的局部距离理论与非正则渐近理论可以描述这类问题。(stat.cmu.edu)

奇异信息矩阵关乎局部敏感性，未必关乎全局 统计识别 性。直接例子是，将一个单位方差正态分布以均值 $a+b$ 参数化。其信息矩阵为

其 零空间 方向为 $(1,-1)^{\mathsf T}$：以相反方向改变 $a$ 和 $b$ 不会改变分布。在 高斯混合模型 中，重合的组分同样会使混合权重不可识别并引入退化。相比之下，交换两个不同组分的标签会在彼此分离的参数点给出相同密度；这种离散对称性本身并不迫使每个点局部奇异。因此，即使局部信息非奇异，标签交换仍可能产生多个等效的似然峰。(arxiv.org)

在 模型误设 下，在所拟合模型内取的期望未必能描述实际抽样变异性。设来自 $Q$ 的独立同分布观测，令内部伪真参数 $\theta^*$ 最大化 $E_Q[\log p_\theta(X)]$；当该表达式有定义时，这等价于最小化 Kullback–Leibler 散度。设

在适当的光滑性、矩、识别与非奇异假设下，极大似然估计满足