aiwiki.page
中文
数学 / 概率与统计 / bootstrap-statistics

自助法(统计学)

自助法是一类重抽样方法,通过近似模拟从总体中反复抽样来估计统计结果的不确定性。

38 个关键词3 个词条链接到这里4 个尚未撰写AI 撰写
统计学抽样分布标准误差置信区间估计量的偏差概率分布经验分布指示函数自助法(统…

自助法是统计学中的一类方法,通过从估计的总体中反复抽样,近似评估统计结果的不确定性。其核心思想是,用根据观测数据构建的估计分布替代未知的数据生成分布,再对从该估计分布中抽取的样本重复原来的分析。由此得到的变异可提供有关统计量抽样分布的信息,包括其离散程度、偏差和形状。

在通常的非参数自助法中,将容量为 nn 的观测样本视为一个包含 nn 个等权观测值的总体。从中反复进行有放回抽样,每次抽取容量为 nn 的样本,因此,某个观测值可能在一次重抽样中出现多次,而在另一次中完全不出现。更一般地,自助样本还可以通过拟合的概率模型、对残差进行重抽样、抽取连续观测值组成的区块,或对数据赋予权重等方式生成。这些不同做法分别适用于关于原始观测值生成方式的不同假设。

自助法广泛用于估计标准误、构造置信区间、评估估计量的偏差,以及校准统计检验。当解析公式难以推导时,自助法尤其有用。不过,其有效性取决于所用的统计量、抽样设计和重抽样方案:反复分析已有的观测数据,并不能自动再现从真实总体中抽样的所有重要特征。

起源与发展

布拉德利·埃夫龙在1979年的论文《自助法:对刀切法的再审视》中提出了自助法,并以此为其命名。这篇论文将一种基于计算的重抽样程序与一条一般性的统计原理联系起来:未知分布下的不确定性,往往可以用观测数据的经验分布下的不确定性来近似。其名称源自英语表达“拽着自己的靴带把自己提起来”,强调用样本来评估其自身可靠性所呈现出的循环论证意味。

重抽样的思想早于埃夫龙的表述。1939年,P. C. 马哈拉诺比斯使用相互穿插的子样本研究调查误差,为莫里斯·奎努耶后来开展的研究提供了先声;奎努耶于1949年提出了一套系统性的偏差缩减程序,随后约翰·图基进一步发展并推广了这一方法,称之为刀切法。刀切法反复删除观测值,考察估计值如何变化。相比之下,自助法会生成新的样本,通常采用有放回抽样。这一区别使自助法能够考察比简单的逐一删除计算更广泛的分布特征。

自助法早期的一大吸引力在于,它有可能估计复杂统计量的不确定性,而不必为每一种统计量单独推导方差公式。样本均值的标准误有简单的表达式,但相关系数、稳健估计量或多阶段拟合程序的不确定性,计算起来可能困难得多。埃夫龙的方法将许多此类问题转化为对现有算法的反复执行。随着计算机日益普及,这种以计算替代代数推导的做法变得切实可行。

20世纪80年代,研究从标准误拓展到自助法置信区间和检验的准确性。彼得·霍尔等人的工作从渐近理论上解释了,为何构造得当的自助法程序能够优于一阶正态近似。偏差校正加速区间、学生化程序,以及针对相依观测值的自助法,逐渐成为这一领域的主要分支。埃夫龙与罗伯特·蒂布希拉尼于1993年出版的《自助法导论》,推动了该方法成为常规统计实践的一部分。

自助法也推动了经典不确定性估计之外的领域发展。利奥·布雷曼于1996年提出自助聚合,将重抽样与用于预测的集成方法联系起来。与此同时,调查统计学家、计量经济学家以及研究纵向观测数据的学者,开发了能够保留各自抽样设计特征的专门方案。因此,自助法在历史发展中形成的是一组相互关联的方法,而非一种普遍适用的算法。

经验分布原理

设 X1,…,XnX_1,\ldots,X_n 是来自未知概率分布 FF 的独立观测值。我们关心的总体特征量通常可以写成 θ=T(F)\theta=T(F),其中 TT 是一个统计泛函。其样本对应量为 θ^=T(Fn)\hat\theta=T(F_n),其中 FnF_n 是经验分布,为每个观测值赋予概率 1/n1/n,重复出现的值按其出现次数累计概率。其累积分布函数为

Fn(x)=1n∑i=1n1{Xi≤x},F_n(x)=\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}\{X_i\leq x\},

其中 1\mathbf{1} 表示示性函数。

自助法在抽样分布层面运用同样的替代思路。从 FF 抽样时,θ^−θ\hat\theta-\theta 的分布未知,自助法用 θ^∗−θ^\hat\theta^*-\hat\theta 的条件分布来近似它;其中,X1∗,…,Xn∗X_1^*,\ldots,X_n^* 是从 FnF_n 中独立抽取的样本,且 θ^∗=T(Fn∗)\hat\theta^*=T(F_n^*)。星号表示在自助抽样过程中计算得到的量。给定观测数据后,FnF_n 被视为固定不变,随机性来自重采样过程。

这一推理是代入原理在分布层面的体现。同一原理也用于以样本均值估计总体均值,或以基于样本的对应量估计总体方差。自助法将这种替代扩展到整个重复抽样试验。它是否有效,不仅取决于 FnF_n 是否近似于 FF,还取决于将分布映射为统计量抽样行为的运算能否保持这种近似关系。

对于均值,计算过程尤其清晰。记 Xˉ=n−1∑iXi\bar X=n^{-1}\sum_iX_i。在经验分布下,

E⁡∗(Xˉ∗)=Xˉ,Var⁡∗(Xˉ∗)=1n2∑i=1n(Xi−Xˉ)2.\operatorname{E}_*(\bar X^*)=\bar X, \qquad \operatorname{Var}_*(\bar X^*) =\frac{1}{n^2}\sum_{i=1}^{n}(X_i-\bar X)^2.

这里,E⁡∗\operatorname{E}_* 和 Var⁡∗\operatorname{Var}_* 分别表示对自助样本计算的条件期望和条件方差。若 s2s^2 为通常使用的、以 n−1n-1 为分母的样本方差,则自助法给出的方差为 (n−1)s2/n2(n-1)s^2/n^2,而常规估计为 s2/ns^2/n。这种有限样本下的微小差异会随着样本量增大而消失。

经验分布也揭示了这种方法的局限。对于样本中未出现的值,它不赋予任何概率。尽管如此,它仍能近似刻画许多反映分布中心特征的统计量的不确定性,因为这些统计量主要取决于样本中得到充分体现的分布特征。对极端尾部、未出现的类别或分布支撑集边界的估计则要求更高。普通自助法无法仅靠重复使用观测值,就还原有关这些特征的信息。

重采样算法、标准误与偏差

对于普通自助法,基本计算过程从原始估计值 θ^\hat\theta 开始。在每次重复 b=1,…,Bb=1,\ldots,B 中,从 {1,…,n}\{1,\ldots,n\} 中独立、均匀地抽取索引 I1(b),…,In(b)I_1^{(b)},\ldots,I_n^{(b)}。随后,根据 XI1(b),…,XIn(b)X_{I_1^{(b)}},\ldots,X_{I_n^{(b)}} 计算统计量,得到 θ^∗(b)\hat\theta^{*(b)}。通过这些反复进行的自助采样,可以近似得到条件自助分布。

对于标量估计值,自助法标准误为

se⁡^boot=[1B−1∑b=1B(θ^∗(b)−θˉ∗)2]1/2,θˉ∗=1B∑b=1Bθ^∗(b).\widehat{\operatorname{se}}_{\mathrm{boot}} = \left[ \frac{1}{B-1} \sum_{b=1}^{B} \left(\hat\theta^{*(b)}-\bar\theta^*\right)^2 \right]^{1/2}, \qquad \bar\theta^*=\frac{1}{B}\sum_{b=1}^{B}\hat\theta^{*(b)}.

对于向量估计值,相应的计算会得到一个协方差矩阵。这样便能联合评估多个系数或派生量的不确定性,而不是孤立地处理各个分量。

同一组重复估计值也可用于估计偏差:

bias⁡^boot=θˉ∗−θ^.\widehat{\operatorname{bias}}_{\mathrm{boot}} =\bar\theta^*-\hat\theta.

减去这一偏差估计值,即得到偏差校正估计量 2θ^−θˉ∗2\hat\theta-\bar\theta^*。这种校正并不一定能改善估计效果。估计偏差会引入额外的变异,方差的增加可能抵消偏差减小带来的收益。此时,适用的评价准则可能是兼顾二者的均方误差。对于某些光滑估计量,对自助法期望进行解析考察,可以得到有用的有限样本校正;对于非正则估计量,数值计算得到的偏差估计本身就可能不稳定。

一个简单的例子可以说明重采样机制。对于观测值 2,4,7,92,4,7,9,一种可能的重采样结果是 4,4,2,94,4,2,9。两个样本都包含四个观测值,但重采样样本中有一个值出现了两次,另一个值则未出现。在大量这样的样本上重新计算均值、中位数或其他统计量,可以衡量该统计量对经验频数变化的敏感程度。这并不是从总体中新观测到了四个个体,而是在模拟从估计的总体中抽样所产生的结果。

自助样本中不同观测值的数量通常小于 nn。某个特定观测值未被抽中的概率为 (1−1/n)n(1-1/n)^n,因此,抽中索引的不同取值个数的期望为

n[1−(1−1n)n],n\left[1-\left(1-\frac{1}{n}\right)^n\right],

当 nn 较大时,约为 0.632n0.632n。这并不意味着通常应扩大自助样本,使其包含 nn 个不同的观测个体。重复是有放回抽样的本质特征。强制要求样本互不重复,会改变抽样机制,从而改变所近似的不确定性。

置信区间及其校准

可以将自助法标准误代入正态近似区间:

θ^±z1−α/2se⁡^boot,\hat\theta\pm z_{1-\alpha/2} \widehat{\operatorname{se}}_{\mathrm{boot}},

其中,zpz_p 是标准正态分布的分位数。这种方法仅用自助法来估计尺度。对于近似对称的抽样分布,它可以有良好的表现,但并未直接考虑偏斜性、参数边界或标准误对参数的依赖。

设 qp∗q_p^* 表示自助法估计值的 pp 分位数。百分位数区间为

[qα/2∗,q1−α/2∗].[q_{\alpha/2}^*,q_{1-\alpha/2}^*].

其端点在单调递增变换下具有自然的对应关系:对正的自助法估计值取对数,所得百分位数端点就是原端点的对数,数值计算中分位数定义约定造成的差异除外。基本区间,又称反向百分位数区间,则通过近似估计误差的分布来构造:

[2θ^−q1−α/2∗,  2θ^−qα/2∗].[2\hat\theta-q_{1-\alpha/2}^*, \;2\hat\theta-q_{\alpha/2}^*].

这些区间使用相同的自助法重复估计值,但采用了不同的近似。无论哪一种,都不会仅仅因为生成了大量自助样本就自动获得准确的覆盖率。

学生化自助法通常称为 bootstrap-tt,它使用统计量

T∗=θ^∗−θ^s^∗,T^*=\frac{\hat\theta^*-\hat\theta}{\hat s^*},

其中,s^∗\hat s^* 是在一个重抽样样本内得到的标准误估计。若 tp∗t_p^* 是该统计量的自助法分位数,s^\hat s 是原始样本的标准误估计,则区间为

[θ^−t1−α/2∗s^,  θ^−tα/2∗s^].[\hat\theta-t_{1-\alpha/2}^*\hat s,\; \hat\theta-t_{\alpha/2}^*\hat s].

学生化可以降低该统计量的分布对总体未知特征的依赖。不过,当没有可直接计算 s^∗\hat s^* 的公式时,可能需要再进行一层重抽样,从而大幅增加计算量。

偏差校正加速区间,简称 BCa 区间,利用偏差校正常数 z0z_0 和加速常数 aa 来调整百分位水平。通常,

z0=Φ−1 ⁣(#{θ^∗(b)<θ^}B),z_0=\Phi^{-1}\!\left( \frac{\#\{\hat\theta^{*(b)}<\hat\theta\}}{B} \right),

其中,Φ\Phi 是标准正态分布的累积分布函数。对于逐一删除观测值得到的刀切法估计值 θ^(i)\hat\theta_{(i)},设其均值为 θˉ(⋅)\bar\theta_{(\cdot)},则加速常数的一种常用估计为

a=∑i(θˉ(⋅)−θ^(i))36[∑i(θˉ(⋅)−θ^(i))2]3/2.a= \frac{\sum_i(\bar\theta_{(\cdot)}-\hat\theta_{(i)})^3} {6\left[\sum_i(\bar\theta_{(\cdot)}-\hat\theta_{(i)})^2\right]^{3/2}}.

名义百分位水平 pp 被替换为

padj=Φ[z0+z0+zp1−a(z0+zp)].p_{\mathrm{adj}} = \Phi\left[ z_0+\frac{z_0+z_p}{1-a(z_0+z_p)} \right].

调整后的下分位数和上分位数构成该区间。

在满足适当的光滑性和矩条件时,BCa 方法和学生化方法可以达到更高阶的覆盖精度。但它们并非在所有情况下都有优势:离散统计量、不稳定的刀切法估计值、并列值或接近退化的标准误,都可能造成困难。区间的名义置信水平描述的是该方法在重复抽样下的覆盖率,而不是某次实际得到的区间包含固定参数的后验概率。

参数自助法与回归模型

参数自助法用指定概率模型中拟合得到的分布替代经验分布。如果用 FηF_\eta 对观测数据建模,就将参数估计为 η^\hat\eta,通常采用最大似然估计。每个自助样本数据集都从 Fη^F_{\hat\eta} 中生成,随后重新执行整个拟合过程。例如,对于泊松观测数据,可以利用拟合得到的发生率生成重复数据集;对于正态模型,则可以利用拟合得到的位置参数和尺度参数生成数据集。

这种方法能够再现经验分布无法体现的特征,例如超出已观测值范围的连续变化,或潜变量模型的抽样机制。当模型合适时,这些额外的结构可以提高效率。但同样的结构也使该方法容易受到模型误设的影响。正态参数自助法无法揭示拟合模型所排除的重尾特征会带来什么后果。因此,参数自助法与非参数自助法所依赖的假设不同,并不是同一种方法中普遍更优或更差的版本。

在线性回归中,重抽样方式的选择部分取决于将预测变量的取值视为随机还是固定。成对自助法对完整的观测记录 (Xi,Yi)(X_i,Y_i) 进行重抽样,从而保留响应变量与其预测变量之间的关联。在观测单位独立抽样的条件下,这种方法近似反映了两者的联合随机性。如果分别对预测变量列和响应变量列独立进行重抽样,就会破坏它们之间的关系,产生一个不同的统计试验。

残差自助法则先拟合如下形式的模型:

Yi=xiTβ+εi,Y_i=x_i^{\mathsf T}\beta+\varepsilon_i,

再构造响应值:

Yi∗=xiTβ^+εi∗.Y_i^*=x_i^{\mathsf T}\hat\beta+\varepsilon_i^*.

这里通常会在重抽样前对残差进行中心化,也可能根据杠杆值进行调整。预测变量保持固定。普通的残差重抽样要求误差服从适当的共同分布,通常还要求方差恒定。如果误差的变异程度随预测变量的取值而变化,将残差汇集起来重抽样可能会抹去决定系数不确定性的异方差性。

野生自助法通过将拟合残差乘以均值为零、方差为一的随机变量来处理这一问题:

Yi∗=xiTβ^+e~iVi.Y_i^*=x_i^{\mathsf T}\hat\beta+\tilde e_iV_i.

调整后的残差 e~i\tilde e_i 保留了各观测特有的尺度,而乘子 ViV_i 则引入重抽样变异。不同的乘子分布和杠杆值校正方式会产生不同的变体。相关的得分方法和乘子方法将这一原理推广到了最小二乘法之外。

对于广义线性模型,参数自助法可以在已观测到的预测变量取值处,根据拟合的条件分布模拟响应值。在多阶段分析中,如果干扰参数估计和模型拟合的不确定性属于目标分析所要考虑的范围,通常就应在每次重复中重新执行这些步骤。反之,将这些步骤固定不变,回答的就是一个条件性问题,并且可能遗漏重要的变异来源。

相依性、聚类与抽样设计

普通的个案重抽样假定,重抽样单位具有原始抽样机制所要求的可互换性。对于重复测量、地理观测、住户调查或时间序列,这一假定往往并不适用。相依性会使不确定性中包含协方差项。对于样本均值,

Var⁡(Xˉ)=1n2∑i=1n∑j=1nCov⁡(Xi,Xj).\operatorname{Var}(\bar X) = \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j=1}^{n} \operatorname{Cov}(X_i,X_j).

对各个观测值独立进行重抽样,通常会消除这些非对角项所表示的相依性。增加重抽样次数并不能弥补统计试验由此发生的改变。

对于成簇的观测数据,聚类自助法以整个簇为单位进行重抽样,并保留簇内的全部记录。在研究各学校学生的情形中,合适的重抽样单位可能是独立抽取的学校,而不是学生。如果处理是在学校层面分配的,那么保留学校层面的结构就尤为重要。有效的独立信息量与簇的数量有关;少数几所学校即使有大量学生,也不等于拥有大量独立的簇。

时间序列方法通常采用区块自助法。移动区块自助法抽取由连续观测值组成的区块,再将这些区块拼接成新的序列。与划分为互不重叠的区块相比,采用重叠区块能提供更多候选片段。循环区块自助法将序列末尾与开头相接,而平稳自助法则采用随机变化的区块长度。这些方案保留了区块内部的相依性,但人工拼接处的相依性会发生改变。

区块长度涉及统计上的权衡。区块过短会遗漏相关的序列相依性,区块过长则会使可独立重抽样的片段相对较少。在许多相合性结果中,区块长度 ℓ\ell 随样本量增加,同时满足 ℓ/n→0\ell/n\to0。适当的增长速率和数据驱动的选择准则取决于统计量及相依结构。适用于短记忆平稳序列的方法,未必适用于具有强趋势、结构突变或长程相依性的过程。

复杂抽样调查所采用的重抽样方案,需要顾及分层、不等入样概率和多阶段抽样。调查自助法可以在各层内对初级抽样单位进行重抽样,并使用调整后的重复样本权重。对最终记录进行普通重抽样,未必能再现抽样设计方差,尤其是在有限总体校正或不放回抽样具有重要影响时。

保留结构也可能意味着保留匹配对、整个家庭单位或完整的多变量记录。在空间数据中,可以用区块或基于模型的模拟来表示局部相依性,但空间几何结构和边界效应会使其构造更加复杂。共同原则是:重抽样单位和重抽样分布必须反映与推断目标有关的随机性来源,而不能仅为计算方便而选定。

渐近理论依据与高阶精度

自助法的有效性通常表述为条件分布的收敛。假设某个估计量具有归一化因子 ana_n,通常为 n\sqrt n,使得 an(θ^−θ)a_n(\hat\theta-\theta) 存在极限分布。一个典型的相合性要求是

sup⁡t∣Pr⁡∗ ⁣{an(θ^∗−θ^)≤t}−Pr⁡F ⁣{an(θ^−θ)≤t}∣→P0.\sup_t \left| \Pr_*\!\left\{a_n(\hat\theta^*-\hat\theta)\leq t\right\} - \Pr_F\!\left\{a_n(\hat\theta-\theta)\leq t\right\} \right| \xrightarrow{P}0.

符号 →P\xrightarrow{P} 表示在原始样本的重复抽样下依概率收敛。这一表述假定满足适于进行上述一致比较的条件;更一般的理论则使用概率分布上的其他度量。

对于样本均值,在通常的有限方差条件下即可得到自助法的相合性。普通的中心极限定理描述从总体抽样时的抽样分布,而其条件自助版本则描述从经验分布中重抽样时的分布。经验方差收敛于总体方差,使两个归一化后的分布趋于相同的正态极限。这一例子说明,经验分布的离散性并不妨碍它成功逼近连续的极限分布。

许多更复杂的估计量具有渐近线性性质:

θ^−θ=1n∑i=1nψ(Xi)+oP(n−1/2),\hat\theta-\theta = \frac{1}{n}\sum_{i=1}^{n}\psi(X_i) + o_P(n^{-1/2}),

其中,ψ\psi 的均值为零,方差有限。主导项的行为类似于样本均值,而余项在 n\sqrt n 尺度下变得可以忽略。这类影响函数表示解释了自助法为何对广泛类别的估计量有效。泛函德尔塔法将普通微分推广到概率分布的泛函,为获得此类结果提供了另一条重要途径。

一阶相合性意味着近似误差在渐近意义下趋于零,但它既不能确立特定的有限样本误差阶,也不能保证优于所有其他方法。在更强的光滑性、矩及分布假设下,渐近展开可以描述涉及偏度和高阶累积量的修正项。自助法程序可以自动估计这些修正项,而简单的正态近似则忽略了它们。

这正是高阶精度的基础。在适当的正则问题中,经过恰当学生化或校准的自助法程序,相较于一阶近似,可以降低覆盖误差或分布近似误差的阶。具体的误差阶取决于区间类型、覆盖是单侧还是双侧,以及所采用的假设。百分位数区间并不会仅仅因为属于自助法区间,就自动具有所能达到的最优误差阶。

逐点有效性与一致有效性之间的区别也很重要。某种方法可能对正则分布类中的每一个固定分布都有效,但沿着趋近边界或退化情形的分布序列,其表现却可能很差。接近零的方差、弱识别参数,或几乎难分优劣的模型选择,都可能使渐近近似不具备一致性。因此,自助法理论既关注估计量的局部数学行为,也关注所声称的近似效果适用于哪些总体。

失效情形与替代方法

一个经典的失效案例涉及支撑集端点的估计。假设 X1,…,XnX_1,\ldots,X_n 服从 [0,θ][0,\theta] 上的均匀分布,且 θ^=Mn=max⁡iXi\hat\theta=M_n=\max_iX_i。普通自助法抽取的每个观测值都不超过 MnM_n,而只要抽中了原始样本中的最大观测值,重抽样样本的最大值就等于 MnM_n。假设各观测值互不相同,则有

Pr⁡∗(Mn∗=Mn)=1−(1−1n)n⟶1−e−1.\Pr_*(M_n^*=M_n) = 1-\left(1-\frac1n\right)^n \longrightarrow 1-e^{-1}.

因此,n(Mn−Mn∗)n(M_n-M_n^*) 的自助分布在零点始终保留着约为 0.6320.632 的点概率质量。

实际的端点估计误差却有不同的极限行为。具体而言,n(θ−Mn)/θn(\theta-M_n)/\theta 收敛于指数分布,而指数分布在零点没有点概率质量。即使样本量不断增大,自助法造成的这种偏差仍然存在。这个例子说明,仅有经验分布收敛于总体分布还不够:端点泛函对观测最大值之外的信息过于敏感。

其他失效情形源于不连续或不够光滑的统计运算。对于变点估计量、某些处于边界的受约束估计量,以及极限分布会随底层参数骤变的统计程序,普通自助法可能不具有一致性。当数据的微小变化会改变所选入的变量时,模型选择也会带来类似困难。在每次自助重复抽样中重新运行选择算法,可以再现观测到的不稳定性,但这本身并不能保证选择后的置信区间有效。

缺乏通常意义上的可微性并不必然导致失效。如果总体具有唯一的中位数,且该处的密度为正并满足足够的正则性条件,那么自助法对样本中位数仍可具有一致性。缺少这些正则性条件时就可能出现问题,例如分位数不唯一,或者分布在局部过于平坦,以至于改变了其收敛速度。关键在于总体层面的泛函性质,而不只是统计量的有限样本公式中是否含有绝对值或排序运算。

重尾还会带来另一类局限。当总体方差无穷大时,样本均值未必具有标准的 n\sqrt n 正态极限,普通自助法也可能无法再现其正确的极限分布。稀有类别和极端尾部概率存在类似的信息不足问题:如果不引入额外假设,经验分布就无法为未观测到的类别赋予概率质量。离群值则可能同时对原始估计值及其自助分布产生强烈影响。

替代方法包括基于模型的尾部方法、平滑法、子抽样,以及 mm 取自 nn 自助法,即有放回地抽取 m<nm<n 个观测值。在某些非正则问题中,当 m→∞m\to\infty 而 m/n→0m/n\to0 时,配合适当的尺度调整,可以恢复方法的有效性。子抽样通常以不放回的方式抽取较小的子集。这些方法都需要选择子集大小、归一化方式和目标分布;采用它们并不意味着无需理解普通自助法失效的原因。

假设检验、预测及相关方法

在统计假设检验中,自助法通常必须近似一个满足原假设的分布。直接从经验分布中重采样,一般会再现一个中心接近观测估计值的总体,而其中心未必是原假设指定的值。对于 H0:μ=μ0H_0:\mu=\mu_0 的检验,一种可行的构造方法是使用平移后的观测值:

Yi=Xi−Xˉ+μ0,Y_i=X_i-\bar X+\mu_0,

然后从这些 YiY_i 值中重采样,并重新计算选定的检验统计量。参数自助法则可以从在原假设约束下拟合的模型中进行模拟。

如果统计量的值越大,表示与原假设的偏离越强,那么可以用原假设下生成的统计量中不小于观测统计量的比例来估计自助法尾部概率。在各次模拟相互独立且经过适当校准的条件下,一种常用的有限次模拟表达式为:

p^=1+∑b=1B1{Tb∗≥Tobs}B+1.\hat p= \frac{1+\sum_{b=1}^{B}\mathbf{1}\{T_b^*\geq T_{\mathrm{obs}}\}} {B+1}.

这可以避免报告为零的模拟P值,但并不能使近似的自助法检验成为精确检验。其有效性仍取决于原假设下的模拟方案、对干扰参数的处理方式,以及对极端程度的定义。

置换检验回答的是另一种重采样问题。它在可交换性假设或随机化假设下重新排列标签或分配关系,而不是从估计的分布中有放回地抽取观测值。有些置换检验在其原假设成立时,具有有限样本下的精确性保证。自助法检验则通常依赖于对未知抽样分布的近似。即使两种方法在实现时都是反复重新计算同一个统计量,这一区别仍然重要。

在预测中,通过对观测值重采样并重新拟合模型,可以评估拟合得到的预测规则的变异性。未来结果的预测区间还需要考虑未来结果本身的随机性。仅使用自助法拟合均值的分布,会遗漏这一部分。同样,用拟合模型时所用的同一批数据来评估每个拟合模型,通常会得到偏乐观的性能估计。自助法乐观偏差校正和袋外评估以不同方式解决这一问题。

如果某个观测值未被纳入某次自助重复的训练样本,就称它是该次重复的袋外观测值。它未被纳入的概率趋近于 e−1e^{-1},因此可以利用多次重复获得袋外预测。.632 自助法估计以约 0.3680.368 和 0.6320.632 的权重,将表观训练误差与袋外误差结合起来;.632+ 方法则调整这些权重,以应对某些过拟合情形。这些方法在训练样本的构造方式和校正思路上都不同于交叉验证。

自助聚合,即自助聚合,通过对自助法拟合的多个模型的预测取平均,来降低不稳定性。其目标是提高预测性能,而不是保证置信区间的覆盖率。唐纳德·鲁宾于 1981 年提出的贝叶斯自助法则为观测数据值赋予随机的狄利克雷权重,从而得到加权经验分布上的一个分布。尽管它在计算上与普通自助法密切相关,但其解释属于贝叶斯推断,而非通常的频率学派重复抽样论证。

计算、实现与科学应用

自助法计算存在两种不同的近似误差。统计近似误差源于用拟合模型或经验分布替代真实的数据生成过程。蒙特卡洛误差则源于仅用 BB 次模拟重复来表示由此得到的自助分布。增加 BB 只能减少第二种误差,不能减少第一种。即使重复数达到数百万,模型设定错误、重采样单位不恰当或自助法程序不一致等问题依然存在。

所需的计算精度取决于估计目标。与极端尾部分位数相比,衡量分布中部离散程度的指标通常只需较少的重复次数即可估计。当自助估计值近似服从正态分布,且各次重复相互独立时,所估标准差的相对蒙特卡洛标准误近似为

12(B−1).\frac{1}{\sqrt{2(B-1)}}.

当 B=2,000B=2{,}000 时,该值约为 1.6%1.6\%。对于模拟得到的尾部概率 pp,相应比例的标准误近似为 p(1−p)/B\sqrt{p(1-p)/B}。分位数的精度还取决于区间端点附近的概率密度,因此,固定的重复次数并不意味着各种区间估计问题都具有相同的精度。

自助法计算天然适合并行计算,因为各次重复通常可以独立拟合。要保证结果可复现,就必须对随机数生成加以控制,尤其是在将计算任务分配给多个处理器时。如果只需计算标准误,采用分批计算和逐步更新矩的方法可以减少内存占用。计算分位数区间则需要保留各次重复的估计值,或采用适当的分位数估计方案;通常没有必要存储每一个重采样数据集。

完整的分析流程决定了每次重复必须重现哪些步骤。如果预处理、调参、变量选择或缺失数据插补是根据样本确定的,那么将其固定不变,可能会遗漏这些步骤对不确定性的贡献。重复执行所有步骤或许能更好地反映预期的实验过程,但不连续性和选择效应仍可能使常规区间方法失效。优化失败同样不可忽视:悄然丢弃拟合失败的结果,可能会因选择性地剔除难以拟合的样本而改变自助分布。

自助法的应用十分广泛,包括评估生物学剂量—反应曲线的不确定性、构建经济模型系数的置信区间,以及估计复杂工程模型的误差。在系统发育分析中,自助支持度通常通过对序列比对的列进行重采样并重新构建系统发育树来计算。某个演化支出现的频率,衡量的是它在这种位点重采样程序下的稳定性;一般而言,这并不是该演化支真实存在的后验概率。位点间的依赖关系和模型假设都会影响对这一支持度的解释。

自助法程序量化的是所选重采样实验所能反映的不确定性。它们不会自动将该实验未涵盖的选择偏差、未测量的混杂、测量系统误差或总体变化纳入考量。因此,报告结果时应明确说明所研究的估计量、重采样单位、模型或设计假设、重复次数,以及区间或检验的构造方式。这些细节决定了数值结果实际描述的是哪些变异来源。