自助法是统计学中的一类计算方法,用于估计某一结果在重复抽样中的变动情况。其核心操作是根据观测数据构造人工数据集,在每个数据集上重新计算统计量,再利用所得结果的变动来近似该统计量的抽样分布。最广为人知的版本是从原始样本中独立、有放回地抽取观测值。其他版本则根据拟合的概率模型进行模拟,或对残差、群组以及由连续观测值组成的区块进行重抽样。
自助法之所以重要,是因为即使统计量本身很容易计算,其不确定性也可能难以用解析方法求得。无论是简单的平均值,还是复杂建模过程的输出,自助法都能为其估计标准误、估计量的偏差和置信区间。不过,灵活并不意味着无需假设:重抽样方案必须重现原始抽样过程的重要特征,而且有些统计量的分布无法通过普通自助法得到正确的近似。
统计表述与重采样机制
设 是来自未知概率分布 的独立观测值,目标是估计总体特征量 。根据观测样本计算出估计值 。统计推断要解决的问题是:如果从 中另抽取一个容量为 的样本, 会如何变化。由于 未知,通常无法从实际总体中反复抽样。
普通非参数自助法用经验分布 代替 。该分布为每条观测数据记录赋予 的概率;若某个值重复出现,则按其出现次数累加概率。其累积分布函数为
其中, 是示性函数。在给定原始数据的条件下,从 中独立抽取 次,得到自助样本 。随后重新计算统计量,得到 。将这种自助采样(有放回抽样)重复 次,得到 。
在给定观测数据的条件下,自助法的标准误估计为
相应的偏差估计为 。对于向量值估计量,采用同样的计算方法可得到自助法协方差矩阵,同时描述各分量的边际不确定性及分量之间的依赖关系。
以样本均值为例,可以给出精确的说明。在给定数据的条件下,
这里, 和 表示在数据保持不变时,针对自助采样随机性计算的期望和方差。若 是以 为分母的常规样本方差,则自助法方差为 ,而并非恰好等于 。因此,即使对于熟悉的统计量,自助法结果与解析方法得到的无偏方差估计之间,也存在微小的有限样本差异。
有放回这一点至关重要。如果不放回地抽取全部 个观测值,就只是改变了它们的排列顺序,任何不受排列顺序影响的统计量都不会改变。有放回抽样则会使某些观测值多次出现,而另一些观测值不被抽中。抽中记录中不同原始记录数的期望为
其值趋近于约 。这些重复并不意味着增加了独立信息,而是利用原始样本所包含的信息,通过计算近似刻画抽样变异性。
自助法为何有效
自助法建立在替代原则之上:当经验分布能够充分逼近总体分布时,统计量在经验分布重抽样下的表现,就可能近似于它在总体抽样下的表现。大数定律为经验分布的准确性提供了依据,但仅凭这一点还不够。统计量还必须对底层分布的扰动作出适当的响应。
典型的有效性结论会比较经过中心化和尺度变换的估计量的分布,以及相应的自助估计量的条件分布。对于收敛速率为根号 的估计量,希望有
这一关系表达了在极限分布连续这一常见情形下,自助法的一致性。左侧的分布以观测数据为条件,右侧的分布则描述从总体中重复抽样的情形。这里的收敛是针对各种可能的原始数据集而言的依概率收敛。
对于总体方差有限且非零的样本均值,中心极限定理表明其抽样分布渐近服从正态分布。自助法能够再现这一主要的渐近行为,因为经验方差收敛于总体方差,而且在渐近意义下,没有任何单个观测值起支配作用。类似的论证可以推广到均值的许多光滑函数、满足正则条件的回归系数,以及其他具有如下表示的估计量:
其中,, 的方差有限,且余项 相对于 可以忽略。在这一语境下,函数 通常称为影响函数,它描述了估计量对单个观测值的主要响应。
光滑性并不要求统计量一定能写成初等可微公式。例如,样本中位数作为有序数据的函数并不光滑,但只要总体在总体中位数附近具有正且连续的密度,其自助分布仍可能是有效的。关键在于统计问题是否满足正则条件,而不只是计算形式看起来如何。
自助法给出的近似有时能优于一阶正态近似。在更强的光滑性条件和矩条件下,经过适当学生化处理的自助程序能够捕捉偏度以及渐近展开中的其他项。这可以使覆盖概率误差或拒绝概率误差达到比基本正态近似更小的阶。这种改进并非普遍成立,而是取决于统计量、重抽样方案以及推断方法的构造。
最后,理论上的有效性关乎原始样本量的增加,而不仅仅是自助重复次数的增加。令 趋于无穷,可以使模拟得到的自助分布对给定观测数据集而言达到任意高的精度。但这并不能证明,该条件分布能够很好地近似实际的抽样分布。统计模型带来的近似误差,与有限 带来的模拟误差,是两回事。
置信区间、偏差校正与学生化
多种置信区间构造方法使用相同的自助重复估计值,但对它们的解释不同。令 表示自助估计值的估计 -分位数。名义覆盖率为 的百分位数区间为
这种方法的优点在于简单,而且与变换相容:对于严格递增的变换 ,在采用相同分位数约定的前提下,对区间端点进行变换,得到的就是对 使用自助法所构造的百分位数区间。由于端点来自实际的自助估计值,这种区间也能满足某些自然的参数约束。不过,偏差和不对称性可能导致相当大的覆盖率误差。
基本区间又称反向百分位数区间,使用的则是估计误差的自助分布:
这里的反向关系源于用 的分布近似 的分布。与百分位数区间不同,这种区间通常在非线性变换下不具有不变性,而且可能超出参数的取值范围。
基于正态近似的自助置信区间形式如下:
其中, 是标准正态分位数。这种方法仅用自助法估计标准误。其偏差校正版将区间中心替换为 。这种校正可能减小偏差,但未必能降低均方误差,因为估计校正量会引入额外的变异。
学生化自助法也称为自助- 法,构造如下重复抽样统计量:
若 表示这些统计量的一个分位数,则区间为
学生化考虑到不确定性可能随参数估计值而变化,并对此作出调整。每次重复抽样对应的标准误可以通过解析公式计算,也可以通过内层自助法估计。嵌套重抽样的计算成本可能很高,而重复抽样标准误不稳定或为零时,这种方法可能不再可靠。
偏差校正与加速区间,简称 BCa 区间,利用中位数偏差调整量 和加速参数 修正百分位水平。与名义概率 对应的调整后概率为
其中, 是标准正态分布函数。 根据小于 的自助估计值所占的比例来估计。加速参数通常用刀切法估计,即依次删除每个观测值后重新计算统计量。在满足正则条件的问题中,BCa 区间可以达到更高阶的精度,并保持与变换相容的性质;但离散分布、不稳定的删一估计值,以及极端的调整后概率,都可能影响其表现。
置信区间描述的是对固定总体参数进行重复抽样时的覆盖率。落在某个区间内的自助估计值所占的比例,本身并不是参数位于该区间内的后验概率。
参数、回归与加权变体
非参数自助法将经验分布视为拟合得到的总体分布。参数自助法则先拟合模型 ,再从该模型生成新数据集,并重复整个估计过程。例如,对于假定服从泊松分布的观测值,可以从以观测均值为强度参数的泊松分布中重新抽样。参数自助法能够模拟出原始数据中未出现过的值,但这种方法是否适用,取决于拟合模型能否描述相关的分布特征。
当模型的有限样本抽样分布较为复杂时,参数模拟尤其有用。对于涉及方差分量、潜变量或非线性拟合曲线的统计量,即使无法获得其解析分布,反复计算该统计量也可能很容易。通过最大似然估计得到的参数,通常必须在每次重复中重新估计。如果在模拟数据集后进行分析时,将某个干扰参数的估计值保持不变,那么所采用的通常就是另一种推断程序。
对于线性回归,成对重采样与残差重采样之间的区别至关重要。成对重采样抽取完整的数据行 ,保留预测变量与响应变量之间观测到的关联。它自然对应于随机设计的解释,即各行数据是从某个联合总体中独立抽取的观测。若对预测变量各列和响应变量分别独立重采样,就会破坏它们之间的关系。
残差重采样从一个拟合模型出发:
它将设计点 保持不变,对经过适当中心化的拟合残差进行抽样,并构造 。将残差合并抽样,意味着把它们的分布视为可互换的。只有在误差分布满足相应假设时,这样做才合适;尤其是,普通的合并残差重采样无法保留异方差性。
野生自助法通过如下形式的伪残差处理回归误差的异方差性:
其中, 是经过中心化或杠杆值调整的残差,独立乘子 的均值为零、方差为一。由于残差的大小仍与其设计点相对应,该程序保留了对每个观测各自误差尺度的估计。乘子分布和残差调整方式的选择会影响有限样本下的表现。
加权自助法提供了另一种表示方式。普通重采样可以表示为给原始观测分配多项分布计数 ,总计数为 。软件不必复制数据行,而可以将这些计数作为权重来计算统计量。其他加权程序采用不同的随机权重,需要各自的理论依据。
唐纳德·鲁宾于1981年提出的贝叶斯自助法,为观测值分配服从狄利克雷分布的随机概率权重。它由此得到这些加权经验分布的泛函的贝叶斯分布。尽管在计算上与普通自助法有关,其解释仍属于贝叶斯推断,而非直接属于对重复抽样的近似。这两种方法都不应与从后验预测分布中模拟未来观测相混淆。
相依性、聚类与复杂抽样设计
普通的观测层面重抽样假定,单条记录就是适当的独立抽样单位。许多数据集并不满足这一假设。对同一个人的重复测量、同一所学校的学生,以及时间序列中的连续测量值,都可能存在相依性。对这些记录独立进行重抽样,通常会破坏其相依结构,导致对不确定性的错误估计,得到的标准误往往偏小。
对于相互独立的群组,群组自助法以有放回方式抽取整个群组,并保留每个入选群组内部的观测。此时,相关的渐近信息可能主要取决于独立群组的数量,而非个体记录的总数。一个数据集即便包含数千次测量,若只有少数几个群组,通常也无法仅靠增加自助重复次数来获得可靠的大样本群组推断。
重抽样程序还必须区分待估量与抽样单位。例如,当群组大小不同时,个体观测的平均值与群组均值的平均值所对应的总体量未必相同。如果分析中包含群组特定效应,同一群组每次被重复抽中时,都必须作为一个单独抽取的副本加以区分。类似地,分层抽样要求在各层内部重抽样,而不是不加区分地混合所有观测。
对于存在序列相依性的观测,区块自助法对由相邻数值组成的区块进行重抽样。移动区块自助法先构造长度为 的重叠区块,再抽取区块并将其拼接,生成长度与原序列大致相同的序列。循环区块自助法允许区块越过观测序列末端后,从序列开头继续取值。平稳自助法使用长度服从几何分布的随机区块,并以循环方式确定起始位置。
区块长度决定了近似过程中的一项实质性权衡。短区块保留的长程相依性较少,但允许更多组合;长区块保留的相依性更多,但实际上可区分的重抽样单位较少。标准的相合性结论通常要求 随 增大,同时 趋于零,并假定相依性随时间推移充分减弱。在有限样本中,不存在一种不依赖于统计量和相依结构、普遍正确的区块长度。
另一种基于模型的方法是拟合时间序列模型,对新息进行重抽样,再重新生成完整序列。对于自回归模型,这种方法通过拟合得到的递推关系保留相依性,而不是复制观测区块。其表现取决于模型设定、初始条件的处理方式,以及是否重新进行参数估计。
空间数据和多阶段调查也需要类似的考量。空间区块必须反映相关的相依几何结构,而调查自助法可能需要重现分层、初级抽样单位、不等入选概率和有限总体校正。对固定总体开展的人口普查、简单随机抽样和多阶段抽样,在基于抽样设计的不确定性方面并不相同。“自助法”指的是一种计算策略,而不是一种适用于所有情形的统一重抽样设计。
假设检验、预测与模型稳定性
自助法统计假设检验近似估计检验统计量在原假设下的分布。这并非仅仅对原封不动的观测数据反复抽样。如果观测数据体现了备择假设,普通的经验重采样通常会重现这种偏离,而不是使数据满足原假设。
要检验总体均值是否等于 ,一种可行的做法是先将观测值重新中心化为 ,再对重新中心化后的数值进行重采样。对于参数似然比检验,相应的做法是在原假设约束下拟合模型,根据这一受限拟合生成数据集,再对每个生成的数据集分别重新拟合受限模型和非受限模型。随后,自助法估计模拟统计量至少与观测统计量同样极端的频率。这一过程的有效性取决于原假设模型以及统计量的性质;模拟并不能自动解决非正则检验问题。
置换检验采用的是另一种原理。它根据原假设下的对称性或已知的随机化设计,重新排列标签或分配方式。在满足适当的可交换性条件或随机化条件时,这类检验可以具有精确的有限样本性质。相比之下,普通自助法检验通常依赖近似。两种方法都会生成大量重新组织的数据集,但这并不意味着它们的理论依据可以互换。
在预测中,还需要作出另一项区分。拟合均值的置信区间描述的是平均响应的不确定性,而新结果的预测区间还必须考虑新观测值中未能解释的变异。因此,仅对拟合参数使用自助法,通常无法得到预测区间。基于模型的预测模拟可以采用适合预测目标的构造方式,将参数的重新拟合与未来误差或结果的抽样结合起来。
在机器学习中,自助法既用于考察模型的不稳定性,也用于构建集成模型。自助聚合(Bagging,bootstrap aggregating 的简称)在多个自助样本上拟合预测规则,然后对数值预测取平均,或综合分类结果。取平均可以降低决策树等不稳定方法的方差。这改变的是预测算法本身,而不仅仅是为某个固定算法附加不确定性估计。
未被抽入某个自助训练样本的观测称为袋外观测。由于在典型的大型自助样本中,约有 的原始记录未被抽入,因此可以利用这些记录,评估未以它们为训练数据的模型所作的预测。袋外误差和基于自助法的预测误差校正与交叉验证有关,但并不相同。它们的表现取决于学习算法、评估所用的损失函数,以及拟合分布与测试分布之间的差异。
如果目标是评估完整学习流程中的不确定性,那么依赖数据的预处理、特征选择和调参通常都应纳入重采样过程。若将已选特征或调参结果固定不变,估计目标就变成了以这些选择为条件的不确定性。即使对整个流程进行重采样,也仍不能保证在不稳定的模型选择之后获得有效的统计推断。
失效情形与非正则问题
即使数据集很大、计算完全精确,普通自助法仍可能失效。一个典型例子是估计均匀分布的端点。设 来自区间 上的均匀分布,且 。普通自助法得到的每个样本最大值都满足 :基于经验分布的重抽样无法生成超过已观测最大值的观测值。
问题不只是无法外推。假设观测到的最大值是唯一的,则
因此,中心化后的自助样本最大值在零点始终具有一个不消失的概率质量。相比之下,原始样本最大值的抽样误差经适当缩放后,具有连续的极限分布。因此,自助法无法复现端点估计量的极限分布。对于均匀分布模型,模型设定正确的参数自助法可能有不同的表现,因为它从拟合得到的连续分布中生成新的观测值。
其他非正则问题会出现在参数位于边界、参数弱可识别,或估计量随数据变化而发生不连续变化的情形中。阈值估计、某些变点问题,以及模型选择后估计量的分布,可能需要专门的理论。不能仅凭估计量具有一致性,就认定自助法推断有效。
重尾还会带来另一类困难。如果总体均值所对应的方差为无穷大,常规的根号 正态理论未必适用,对均值使用通常的自助法也可能失效。即使方差有限,少数极端观测值也可能使有限样本下的自助分布极不稳定。自助法所用的每个总体都以观测样本为支撑集,因此,那些未出现在样本中、虽罕见却影响重大的取值,在普通经验重抽样下不会获得任何概率。
一种替代方法是 -out-of- 自助法,即重抽取 个观测值,通常要求 。另一种方法是子抽样,通常在不放回抽取的较小子集上计算统计量。在某些非正则情形中,适当的重新中心化和缩放可以恢复推断的有效性。这些方法也有各自的适用条件,包括子集大小的选择;在许多表述中,还要求已知或能够估计统计量的收敛速度。减小重抽样样本量并不是必然有效的补救办法。
自助法也无法弥补数据收集或统计识别方面的缺陷。反复对同一批记录进行重抽样,并不能消除选择偏差、未测量的混杂、系统性测量误差,或缺失数据机制设定错误带来的问题。在因果推断中,自助法产生的变异可以量化特定假设下估计量的不确定性,但不能证明这些假设成立。
这些局限表明,以已观测信息为条件的不确定性,不同于整个科学研究过程或抽样过程中的不确定性。一个很窄的自助分布或许准确反映了某种拟合程序的变异,却可能遗漏重抽样设计从未涵盖的重要不确定性来源。
历史发展与计算实践
布拉德利·埃夫龙于 1979 年在题为《自助法:重新审视刀切法》的论文中提出了自助法。更早的重抽样思想包括莫里斯·奎努耶于 1949 年开展的偏差校正研究,以及约翰·图基在 20 世纪 50 年代对刀切法的发展。刀切法有系统地删除观测值,而自助法则近似模拟从估计总体中抽样的过程。埃夫龙的表述使后一原理成为统计推断的一种通用计算方法。
此后的发展拓展了自助法的理论与应用范围。鲁宾于 1981 年提出贝叶斯自助法。埃夫龙于 1987 年发展了 BCa 方法。汉斯·昆施于 1989 年的研究推动了适用于平稳相依观测的区块重抽样方法的确立;迪米特里斯·波利蒂斯和约瑟夫·罗马诺于 1994 年提出平稳自助法。利奥·布雷曼于 1996 年提出装袋法。这些进展分别针对后验不确定性、区间精度、序列相依性和预测不稳定性等不同问题。
自助法计算通常是蒙特卡洛方法的一种应用。在给定观测数据的条件下,利用相互独立的重复样本来估计自助分布的特征。模拟误差通常以与 成正比的速率减小。因此,对于适用这一近似关系的量,将 增加至原来的四倍,可使蒙特卡洛误差大致减半;但这并不会使原估计量的抽样误差减半。
所需的重复次数取决于要计算的结果。标准误估计通常比极端分位数更早趋于稳定。当 时,名义 分位点对应的区间端点位于排序后重复估计值的第 25 个附近,因此该尾部可提供的信息相对有限。对于一个固定阈值,若自助分布中超过该阈值的真实概率为 ,则模拟得到的超阈值比例的标准误近似为
分位数误差还取决于分布在端点附近的密度。增加计算量无法弥补重抽样模型本身的无效性。
由于各次重复大体上相互独立,自助法计算非常适合并行计算。要确保结果可复现,就必须明确控制随机数流,尤其是在任务由不同处理器执行时。处理大数据时,可以使用多项分布权重,而不必实际复制数据行。小自助法袋等方法将较小子集上的计算与加权重抽样相结合,在满足相应近似条件时,近似估计全样本的不确定性。
实际执行中的失败情形也需要关注。某个重抽样样本可能只包含一种结果类别,产生奇异设计矩阵,或导致数值优化器无法收敛。如果不考虑原因就丢弃这些重复样本,便会改变模拟分布。因此,计算方案需要为这类数据集明确规定统计量的定义或失败处理规则。报告重抽样单位、模型约束、重复次数、区间构造方式以及拟合失败的处理方法,才能说明实际执行的是哪一种自助法程序。