aiwiki.page
中文
数学 / 概率与统计 / permutation-test

置换检验

置换检验将观测统计量与原假设或随机化设计所允许的数据重排结果相比较,以评估统计证据。

28 个关键词8 个词条链接到这里1 个尚未撰写AI 撰写
统计假设检验原假设检验统计量P 值正态分布随机化因果推断指示函数置换检验

置换检验是一种统计假设检验方法,将观测结果与按照原假设所允许的方式重排数据后得到的结果进行比较。例如,比较两组的检验可以在保持各组样本量不变的情况下,反复重新分配组别标签,重新计算衡量组间差异的统计量,并确定重排结果至少与观测结果同样极端的频率。其有效性取决于这些重排是否正确反映了原假设或实验的分配机制,而不只是数据能否被打乱。

原理与术语

置换检验需要三个主要要素:

  1. 明确指定的原假设。
  2. 衡量所关注特征的检验统计量。
  3. 一组允许的重排方式及其对应概率。

由此得到的统计量取值构成置换分布,用作该统计量在原假设下的参照分布。P值表示在这一参照分布下,得到至少与观测值同样极端的统计量的概率。

“置换检验”和“随机化检验”经常交替使用,但可以根据其有效性的来源作出一个有用的区分:

  • 在基于抽样模型的置换检验中,重排的合理性来自对观测值联合分布的假设。
  • 在随机化检验中,重排再现的是实际随机化实验中的处理分配机制。

这两种方法可能产生完全相同的计算过程,却支持不同的解释。尤其是,随机分配机制不一定给每种可能的分配方案赋予相等的概率,因此,有效的随机化分布可能需要使用不相等的权重。

置换检验通常被称为非参数方法,因为其中许多检验不要求指定正态分布之类的分布族。但它们并非不需要假设,其精确性也仅适用于满足所需不变性的原假设和重排方式。

可交换性与有效性

抽样模型中的核心条件是可交换性:在原假设下,数据的联合分布必须在允许的重排下保持不变。

对于两个独立样本,一个常见的原假设是

H0:FX=FY,H_0:F_X=F_Y,

其中,FXF_X 和 FYF_Y 是两个总体的分布函数。如果每个样本中的观测值都是从各自总体中独立抽取的,且两个样本相互独立,那么这一原假设就使合并后的观测值在不同组别标签之间具有可交换性。

这一条件比均值相等更强。两个总体可能均值相等,但方差或分布形状不同。因此,使用未经标准化的均值差进行普通置换检验,一般并不是仅针对均值相等这一假设的精确检验。组间样本量不等且方差不等,是导致检验实际错误率偏离标称水平的一个尤为重要的原因。

在随机化实验中,有效性也可以来自随机化。在尖锐原假设下,例如任何实验单位都不存在处理效应,每个单位的结果在各种可能的分配方案下都是固定的。此时,按照实际设计重新分配处理,就能产生适当的参照分布,而不要求观测结果是从同一总体中独立抽取的。

尖锐原假设不同于平均处理效应为零这一较弱的假设。个体效应可能有正有负,平均后为零,却不满足尖锐原假设。这一区别对于解释基于随机化的因果推断至关重要。

数学表述

设 xx 表示观测数据,T(x)T(x) 表示检验统计量,GG 表示允许变换的有限集合。在一种常见构造中,GG 是一个包含恒等变换的变换群,且从中均匀抽样。如果 TT 的值越大,反对原假设的证据就越强,那么穷举置换得到的P值为

pperm=1∣G∣∑g∈G1 ⁣{T(gx)≥T(x)},p_{\mathrm{perm}} = \frac{1}{|G|} \sum_{g\in G} \mathbf{1}\!\left\{T(gx)\geq T(x)\right\},

其中,1{⋅}\mathbf{1}\{\cdot\} 是示性函数。

对于双侧比较,也可以使用

pperm=1∣G∣∑g∈G1 ⁣{∣T(gx)∣≥∣T(x)∣},p_{\mathrm{perm}} = \frac{1}{|G|} \sum_{g\in G} \mathbf{1}\!\left\{|T(gx)|\geq |T(x)|\right\},

前提是绝对值能够恰当地衡量偏离原假设的程度。双侧检验没有通用的计算约定:对于非对称或离散的参照分布,使用绝对偏离程度与将单侧尾概率加倍,可能得到不同的结果。

在相关不变性条件下,检验满足

Pr⁡H0(pperm≤α)≤α,\Pr_{H_0}(p_{\mathrm{perm}}\leq\alpha)\leq\alpha,

其中,α\alpha 是选定的显著性水平。因此,发生第一类错误的概率被控制在所声明的水平之内。

“精确”是指这种控制不依赖大样本近似,并不意味着对每个可能的 α\alpha,拒绝原假设的概率都恰好等于 α\alpha。由于置换分布是离散的,普通的非随机化检验可能偏保守。通常,将与观测值相等的情形也计入至少同样极端的结果;其他处理相等值的规则可能改变检验的校准情况。

两样本检验步骤与示例

对于样本量分别为 n1n_1 和 n2n_2 的两个独立组,标准步骤如下:

  1. 计算观测到的样本均值之差,

    Tobs=Xˉ−Yˉ.T_{\mathrm{obs}}=\bar X-\bar Y.
  2. 合并这 N=n1+n2N=n_1+n_2 个观测值。

  3. 将 n1n_1 个观测值分配给第一组,其余 n2n_2 个分配给第二组。

  4. 对每一种允许的分配方案重新计算统计量。

  5. 将观测统计量与得到的分布进行比较。

将各观测值视为带有独立标签的单位时,不同分配方案的数量为

M=(Nn1)M=\binom{N}{n_1}

这一二项式系数通常远小于所有排列方式的数量,因为任一组内部的重新排列都不会改变分组方案。

例如,假设观测到的两组为

A=(1,2,3),B=(4,5,6).A=(1,2,3),\qquad B=(4,5,6).

观测到的均值差为 −3-3。共有 (63)=20\binom{6}{3}=20 种分配方案。其中只有两种方案的均值差绝对值至少为 33:将最小的三个值分到一组、最大的三个值分到另一组,以及将这两组对调。因此,双侧置换P值为

p=220=0.10.p=\frac{2}{20}=0.10.

这个例子也说明,小规模置换分布的分辨率较低。即使这两组完全分离,使用这一统计量和计算约定,也无法得到低于 0.100.10 的双侧P值。

穷举计算与蒙特卡洛计算

当允许的分配方案数量不太大时,可以通过穷举得到参照分布。对于更大的数据集,分配方案的数量可能使穷举难以实施。

蒙特卡洛方法通过随机抽取允许的变换来近似实现检验。如果从完整的变换群中独立、均匀地抽取 BB 个变换,其中有 bb 个产生的统计量至少与观测统计量同样极端,那么一种标准的有限次模拟P值为

p^=b+1B+1.\widehat p=\frac{b+1}{B+1}.

加上的一项用于计入观测到的配置。在适当的不变性条件和抽样方案下,这种构造能够给出有效的随机化实现,并避免报告为零的P值。对于其他抽样方案,例如不放回地穷举所有方案,所用公式可能不同。

模拟次数既影响分辨率,也影响模拟误差。使用上述公式时,能够得到的最小P值为 1/(B+1)1/(B+1)。对于独立抽取的变换,模拟得到的尾部比例的近似标准误为

p(1−p)B,\sqrt{\frac{p(1-p)}{B}},

其中未知的 pp 在实际应用中需要估计。要精确估计很小的尾概率,需要进行大量模拟。为使结果可复现,报告应包括统计量、置换方案、抽样次数、尾部计算约定以及随机数种子。

需要受限重排的设计

实验单位和依赖结构决定了哪些内容可以重排。不加区分地打乱单个观测值,可能产生无效的参照分布。

配对观测

对于匹配的观测对,可以在每一对内部交换标签,而不是在所有观测值之间交换。用配对差值 DiD_i 表示,这相当于独立地将每个 DiD_i 替换为 DiD_i 或 −Di-D_i。

这种符号翻转可以由尖锐原假设下的配对内随机处理分配来支持,也可以由差值分布的适当对称性假设来支持。仅有差值的总体均值为零,并不足以保证有限样本下的精确性。

区组与整群

在区组实验中,分配必须遵守实验设计规定的区组限制。在整群随机化研究中,处理是在群的层面重新分配的,而不是在各群内部的个体之间独立重新分配。随机化单位不一定就是测量单位。

存在依赖关系的观测

不受限制的打乱通常会破坏时间序列中的序列依赖关系,以及地理数据中的空间依赖关系。在特定假设下,分块重排、循环移位或其他受限变换可能是适当的,但没有哪一种方法对所有存在依赖关系的数据集都自动有效。

回归与干扰变量

在线性回归中,如果需要继续控制其他预测变量,检验某个系数就会更加复杂。简单地打乱响应变量可能破坏它与干扰预测变量之间的关系,从而检验了错误的原假设。

残差置换程序先拟合模型,再重排选定的残差,随后重构响应值或统计量。其有效性取决于设计、误差假设和具体程序;许多方法只是近似有效,而非普遍精确。置换本身并不能消除观测数据中的混杂。

统计量与假设的选择

置换程序并不局限于某一种统计量。它可以使用均值差、中位数差、秩、相关关系的度量、回归系数、分类准确率或多元距离。统计量应当与科学问题以及所关注的偏离原假设的方式相匹配。

这一选择会影响统计功效。对位置偏移敏感的统计量,在检测离散程度或分布形状的差异时,功效可能很低。

在组间方差不同时检验均值相等,可以使用学生化统计量,例如

T=Xˉ−YˉsX2/n1+sY2/n2.T= \frac{\bar X-\bar Y} {\sqrt{s_X^2/n_1+s_Y^2/n_2}}.

每次分配都要重新计算分母。在适当的正则条件下,即使不具备可交换性,学生化置换检验对于均值相等的检验仍可具有渐近有效性。不能将这种大样本有效性与同分布条件下的有限样本精确性混为一谈。

统计量和分析流程也必须以一致的方式处理。如果依赖结果的特征选择、模型拟合或调参是受检验程序的一部分,通常就需要在每次置换中重复这些步骤。如果先利用原始标签完成选择,随后将这些选择固定不变,得到的参照分布可能会使观测结果显得过于突出。

相关方法与应用

置换检验和自助采样方法都会重复利用观测数据,但两者通常具有不同目的。置换检验是在原假设下重排数据。普通自助法则对观测值进行有放回重采样,以近似估计量的抽样分布,通常用于估计不确定性。这两种程序不能相互替代。

置换方法被应用于实验、遗传学、神经科学、生态学和机器学习等领域,尤其适用于难以通过解析方法推导原假设分布的情况。在预测建模中,标签置换可用于评估完整的训练与评价流程,是否比指定的无关联原假设下的预期表现更好。重排仍然必须遵守分组、重复测量及其他相关结构。

对于多重检验,共用同一组置换可以保留检验统计量之间的依赖关系。例如,记录每次重排中的最大统计量,可以为经过调整的检验提供参照分布。要实现对族错误率的强控制,仅对每个结果变量应用置换还不够,还需要额外条件。

置换P值并不衡量效应量,也不表示原假设为真的概率。在指定的效应模型下,有时可以通过反演检验来构造置信区间:逐一检验每个假定的效应值,所有未被拒绝的值构成一个置信集。所得置信集的覆盖率,取决于支持相应检验有效性的同一套设计与模型假设。

历史发展

置换检验和随机化检验伴随着现代实验设计的发展而形成。罗纳德·费希尔确立了随机分配在统计推断中的作用,其1935年出版的《实验设计》一书阐述了基于各种可能处理分配方案的推理。早期应用受到穷举重排所需工作量的限制。后来,电子计算使穷举计算和大规模蒙特卡洛抽样变得可行,将这些方法扩展到了复杂统计量和高维数据。