aiwiki.page
中文
数学 / 概率与统计 / effective-sample-size

有效样本量

有效样本量将估计量的精度表示为达到相近精度所需的独立、等权观测数量。

20 个关键词6 个词条链接到这里1 个尚未撰写AI 撰写
统计学方差样本均值分位数估计量的偏差均方误差柯西–施瓦茨不等…协方差矩阵有效样本量

有效样本量(effective sample size,ESS)是统计学中的一种度量,用于将估计值的精度换算为在指定的基准抽样方案下与之等效的观测数量。当观测之间存在相关性、具有不等权重,或来自复杂抽样设计时,通常会使用这一指标。包含 nn 个观测的数据集所提供的信息,可能远少于 nn 个独立、等权观测所提供的信息;不过,某些设计和依赖结构也可能使有效样本量大于 nn。ESS 并不是一个统一通用的量:其定义取决于估计量、作为参照的实验,以及所衡量的精度方面。

基于方差的定义

对于来自同一分布的 nn 个独立观测,若每个观测的方差均为 σ2\sigma^2,则样本均值的方差为

Var⁡(Xˉ)=σ2n.\operatorname{Var}(\bar X)=\frac{\sigma^2}{n}.

若估计量 μ^\hat\mu 在另一种抽样方案下估计同一个总体均值,则一种自然的方差匹配定义为

neff=σ2Var⁡(μ^).n_{\mathrm{eff}} = \frac{\sigma^2}{\operatorname{Var}(\hat\mu)}.

因此,如果一个估计量的方差为 0.01σ20.01\sigma^2,那么相对于从该总体中独立抽样,其有效样本量为 100。

更一般地,假设基于 mm 个独立观测的基准估计量,其方差近似为 V/mV/m,则有

neff≈VVar⁡(θ^).n_{\mathrm{eff}}\approx \frac{V}{\operatorname{Var}(\hat\theta)}.

这里,VV 取决于目标量和基准估计量。因此,同一组观测对于均值、比例、回归系数或分位数,可以具有不同的有效样本量。

这种解释关注的是抽样精度,而非信息的所有方面。尤其是,它并不直接考虑估计量的偏差。精度很高的估计仍可能存在系统性错误,因此,较大的 ESS 本身并不意味着较小的均方误差。

观测权重不等的情形

Kish 有效样本量

假设观测 X1,…,XnX_1,\ldots,X_n 相互独立,具有相同的均值和方差 σ2\sigma^2。对于固定的非负权重 wiw_i,其中至少有一个权重为正,考虑加权均值

μ^w=∑i=1nwiXi∑i=1nwi.\hat\mu_w = \frac{\sum_{i=1}^{n}w_iX_i} {\sum_{i=1}^{n}w_i}.

其方差为

Var⁡(μ^w)=σ2∑i=1nwi2(∑i=1nwi)2.\operatorname{Var}(\hat\mu_w) = \sigma^2 \frac{\sum_{i=1}^{n}w_i^2} {\left(\sum_{i=1}^{n}w_i\right)^2}.

将其与 σ2/neff\sigma^2/n_{\mathrm{eff}} 匹配,便得到 Kish 有效样本量:

neff=(∑i=1nwi)2∑i=1nwi2.n_{\mathrm{eff}} = \frac{\left(\sum_{i=1}^{n}w_i\right)^2} {\sum_{i=1}^{n}w_i^2}.

对于归一化权重

ai=wi∑jwj,a_i=\frac{w_i}{\sum_jw_j},

同一表达式可写为

neff=1∑iai2.n_{\mathrm{eff}}=\frac{1}{\sum_i a_i^2}.

将所有权重乘以同一个正常数,ESS 保持不变。权重相等时,neff=nn_{\mathrm{eff}}=n;只有一个权重非零时,neff=1n_{\mathrm{eff}}=1。对于非负权重,

1≤neff≤n,1\le n_{\mathrm{eff}}\le n,

其中上界可由柯西—施瓦茨不等式推出。

例如,归一化权重为 0.7,0.1,0.1,0.10.7,0.1,0.1,0.1 时,

neff=10.72+3(0.12)≈1.92.n_{\mathrm{eff}} = \frac{1}{0.7^2+3(0.1^2)} \approx1.92.

虽然共有四个观测,但在上述假设下,其加权平均值的方差,相当于约 1.92 个独立、等权观测的平均值的方差。

与权重变异程度的关系

以 nn 为除数定义权重的变异系数:

CV⁡w2=n−1∑i(wi−wˉ)2wˉ2.\operatorname{CV}_w^2 = \frac{n^{-1}\sum_i(w_i-\bar w)^2}{\bar w^2}.

则有

neff=n1+CV⁡w2.n_{\mathrm{eff}} = \frac{n}{1+\operatorname{CV}_w^2}.

这一恒等式说明,权重越集中,实际作出贡献的有效观测数量就越少。

解释这一结果时需要谨慎。如果权重依赖于观测结果、各观测具有不同的方差,或观测之间存在依赖关系,那么仅基于权重的公式未必等于通过方差匹配得到的 ESS。对于固定的归一化权重和协方差矩阵 Σ\Sigma,一般的方差表达式为

Var⁡(μ^w)=aTΣa,\operatorname{Var}(\hat\mu_w)=a^\mathsf{T}\Sigma a,

通常无法仅凭权重的离散程度推断这一方差。

复杂调查抽样

在调查抽样中,精度取决于整群、分层、不等入样概率和权重调整等因素。

一个估计量的设计效应为

DEFF⁡=Var⁡design(θ^)Var⁡reference(θ^).\operatorname{DEFF} = \frac{\operatorname{Var}_{\mathrm{design}}(\hat\theta)} {\operatorname{Var}_{\mathrm{reference}}(\hat\theta)}.

当名义样本量为 nn 的样本所对应的基准方差按 1/n1/n 的比例变化时,相应的有效样本量为

neff=nDEFF⁡.n_{\mathrm{eff}} = \frac{n}{\operatorname{DEFF}}.

基准通常是简单随机抽样,但抽样是否有放回,以及是否计入有限总体校正,都会影响结果。如果基准方差并不严格按 1/n1/n 的比例变化,那么这一表达式只是近似关系或报告中的约定,而非精确的方差匹配。

群集观测

在一个简单模型中,假设各群大小均为 mm,个体方差相等,群内相关系数均为 ρ\rho,且各群相互独立,则总体均值估计的设计效应为

DEFF⁡=1+(m−1)ρ.\operatorname{DEFF}=1+(m-1)\rho.

因此,

neff=n1+(m−1)ρ.n_{\mathrm{eff}} = \frac{n}{1+(m-1)\rho}.

例如,将 1,000 个观测分为相互独立、每群包含 10 个观测的群,且群内相关系数为 0.10.1,则有

neff=10001.9≈526.n_{\mathrm{eff}} = \frac{1000}{1.9} \approx526.

对于群大小不等或具有任意相关结构的情形,不能原样套用这一结果。

与独立抽样相比,群内正相关的整群抽样通常会降低精度。相反,合理有效的分层可以使方差低于基准方差,从而得到 DEFF⁡<1\operatorname{DEFF}<1 和 neff>nn_{\mathrm{eff}}>n。这表示相对于所选基准,抽样效率更高,并不意味着实际观测数量增加。

相关序列

对于来自平稳过程的观测,均值的方差取决于不同时间点之间的相关性。设每个观测的方差为 σ2\sigma^2,并将滞后 kk 阶的自相关定义为

ρk=Cov⁡(Xt,Xt+k)σ2.\rho_k = \frac{\operatorname{Cov}(X_t,X_{t+k})}{\sigma^2}.

连续 nn 个观测的均值,其精确方差为

Var⁡(Xˉn)=σ2n[1+2∑k=1n−1(1−kn)ρk].\operatorname{Var}(\bar X_n) = \frac{\sigma^2}{n} \left[ 1+2\sum_{k=1}^{n-1} \left(1-\frac{k}{n}\right)\rho_k \right].

因此,相应的有效样本量为

neff=n1+2∑k=1n−1(1−kn)ρk.n_{\mathrm{eff}} = \frac{n}{ 1+2\sum_{k=1}^{n-1} \left(1-\frac{k}{n}\right)\rho_k }.

这一表达式表明,多个滞后阶数上的相关性都可能产生影响;通常,仅针对相邻观测之间的相关性进行调整并不足够。

当自相关系数绝对可求和,且适用相应的中心极限定理时,大样本近似为

neff≈nτint,τint=1+2∑k=1∞ρk.n_{\mathrm{eff}} \approx \frac{n}{\tau_{\mathrm{int}}}, \qquad \tau_{\mathrm{int}} = 1+2\sum_{k=1}^{\infty}\rho_k.

这里,τint\tau_{\mathrm{int}} 为积分自相关时间,所采用的约定使独立观测的 τint=1\tau_{\mathrm{int}}=1。

正的序列相关通常会降低 ESS。负相关则可能使 τint<1\tau_{\mathrm{int}}<1,从而使 ESS 大于观测数量。

一阶自回归示例

对于平稳的一阶自回归模型,若 ρk=ϕk\rho_k=\phi^k,其中 ∣ϕ∣<1|\phi|<1,则有

τint=1+ϕ1−ϕ,\tau_{\mathrm{int}} = \frac{1+\phi}{1-\phi},

因此,

neff≈n1−ϕ1+ϕ.n_{\mathrm{eff}} \approx n\frac{1-\phi}{1+\phi}.

若 ϕ=0.8\phi=0.8,有效样本量约为 n/9n/9。这是大样本近似;有限样本公式仍保留因子 1−k/n1-k/n。

马尔可夫链蒙特卡洛

在马尔可夫链蒙特卡洛(MCMC)中,连续的模拟抽样通常存在依赖关系。ESS 描述的是,相对于从目标分布中独立抽样,蒙特卡洛估计所具有的精度。

对于目标函数 ff,定义

μ^f=1n∑t=1nf(Xt).\hat\mu_f=\frac{1}{n}\sum_{t=1}^{n}f(X_t).

在满足适当的平稳性和极限定理条件时,

neff,f≈n1+2∑k=1∞ρk(f),n_{\mathrm{eff},f} \approx \frac{n}{ 1+2\sum_{k=1}^{\infty}\rho_k^{(f)} },

其中,ρk(f)\rho_k^{(f)} 是变换后序列 f(Xt)f(X_t) 的自相关系数。此时,蒙特卡洛标准误近似为

MCSE⁡(μ^f)≈Var⁡π(f(X))neff,f.\operatorname{MCSE}(\hat\mu_f) \approx \sqrt{ \frac{\operatorname{Var}_{\pi}(f(X))} {n_{\mathrm{eff},f}} }.

ESS 对 ff 的这种依赖至关重要。一条链可能能够高效地估计均值,却难以准确估计尾部概率。

实际诊断中会区分主体 ESS(bulk ESS)和尾部 ESS(tail ESS):前者通常根据秩归一化后的抽样值计算,后者用于评估分布尾部的抽样效率。这些诊断指标未必等于原始尺度上均值的 ESS。

自相关系数必须通过有限长度的运行结果来估计。将许多滞后阶数上的带噪声估计值相加会导致结果不稳定,因此软件会采用截断、配对序列方法或其他长期方差估计方法。多链方法还可以将链间差异纳入考虑。

仅凭 ESS 无法确定模拟是否已收敛到后验分布或其他目标分布。一条困在某个区域中的链,可能得到看似良好的基于自相关的 ESS,却未能探索其他重要区域。收敛诊断与 ESS 回答的是相互关联但不同的问题。

重要性采样与粒子方法

在重要性采样中,会为来自提议分布的抽样值赋予权重,以表示目标分布。对于归一化权重 w~i\tilde w_i,一种常见的诊断指标为

neff,weights=1∑iw~i2.n_{\mathrm{eff,weights}} = \frac{1}{\sum_i\tilde w_i^2}.

该指标衡量权重的集中程度,在代数形式上与 Kish 公式完全相同。当权重接近均匀时,它趋近于 nn;当某一个权重占主导地位时,它趋近于 1。

然而,一般而言,它并不是重要性采样估计的精确 ESS。对于独立的提议抽样 Xi∼qX_i\sim q、归一化目标密度 π\pi,以及权重 w(x)=π(x)/q(x)w(x)=\pi(x)/q(x),目标量

μ=E⁡π[f(X)]\mu=\operatorname{E}_{\pi}[f(X)]

的自归一化估计,在满足适当的矩条件和支撑集条件时,其渐近方差为

1nE⁡q[w(X)2(f(X)−μ)2].\frac{1}{n} \operatorname{E}_{q} \left[w(X)^2\bigl(f(X)-\mu\bigr)^2\right].

因此,通过方差匹配得到的 ESS 同时取决于权重和被积函数 ff。仅基于权重的诊断指标无法反映这种依赖关系。

在序贯蒙特卡洛方法中,常用基于权重的 ESS 来触发重采样。重采样可以使权重重新相等,但也可能产生具有共同祖先的重复粒子。重采样后,即使 ESS 立即等于粒子数量,也不意味着所有粒子都包含相互独立的信息。

解释与局限

只有明确了定义和基准,ESS 的数值才有意义。

  • 它取决于具体估计量。 均值、分位数、尾部概率和模型参数可以具有不同的有效样本量。
  • 它不一定是整数。 ESS 是一种等效性度量,并非实际保留的观测数量。
  • 它不一定受名义样本量的限制。 非负权重下的 Kish 公式以 nn 为上界,而基于方差的定义则可能超过 nn。
  • 它不能纠正系统性误差。 报告 ESS 并不能消除选择偏差、模型设定错误或模拟探索不充分等问题。
  • 它本身也需要估计。 序列过短、依赖关系衰减缓慢,以及权重不稳定,都可能使 ESS 估计不可靠。
  • 它并不自动构成自由度调整。 在检验或置信区间中,用 ESS 替换名义样本量,本身并不能保证参照分布或覆盖率正确。
  • 在方差不有限的情况下,其通常的解释可能失效。 重尾的重要性权重,或使通常的中心极限定理无法成立的依赖关系,都可能导致常规的基于方差的 ESS 计算失效。

一份可复现的报告,应明确所评估的估计量或诊断指标、名义样本量、基准抽样方案,以及计算 ESS 所采用的方法。