多重比较问题是指,在进行多项统计比较,或从多个可能的比较中选出一项加以报告时,针对单项比较的错误率保证并不会自动适用于这些比较的整体。在统计假设检验中,某种方法在单次预先指定的检验中可能很少产生假阳性,但当它被重复用于许多结局、组别、模型或分析方案时,却可能相当频繁地产生至少一个假阳性。这一问题也会影响估计:当同时考察许多普通置信区间,或只报告最有利的结果时,这些区间未必仍能保持其标称覆盖率。
多重性是实验设计、高维研究和统计证据解读中的核心问题。如何处理多重性,取决于所要作出的科学论断。确认若干种可能的治疗获益中至少有一种确实存在、找出一组值得进一步研究的基因,以及估计看起来最大的那个效应,是不同的统计推断任务,不一定需要采用相同的错误控制准则。因此,处理方法涵盖同时推断、族错误率控制、错误发现率控制、选择性推断和层次建模等。
多重性如何产生误导性证据
考虑 次检验,每次都在显著性水平 下进行,且所有原假设均为真。如果每次检验的拒绝概率恰为 ,且各检验满足统计独立性,那么至少发生一次错误拒绝的概率为
当 时,进行 10 次检验的这一概率约为 ,20 次检验时约为 ,100 次检验时约为 。这并不意味着各项检验的校准出了问题,而是因为“至少有一次检验拒绝原假设”这一事件的发生概率,远高于“某一次特定检验拒绝原假设”的发生概率。
错误拒绝次数的期望值则是另一个量。若以 表示错误拒绝的次数,那么,在各次检验的边际拒绝概率仍恰为上述数值的条件下,
这一结果源于期望值的线性性质,并不要求各次检验相互独立。因此,对 100 个为真的原假设分别在 的水平下进行检验,平均会产生五次错误拒绝,但任何一次实验中的实际次数都会有所不同。当边际概率保持不变时,检验之间的依赖关系会改变至少发生一次错误拒绝的概率,以及错误拒绝总次数的分布,却不会改变这一期望值。
同样的现象也体现在观测到的最小P值上。对于相互独立的连续型检验,如果原假设成立时的 P 值服从均匀分布,则有
因此,在 100 次相互独立、且原假设均为真的检验中,最小 P 值为 并不特别罕见:得到不大于这一数值的 P 值的概率约为 。如果把筛选出的最小 P 值当作来自某个事先指定的单次检验,就忽略了筛选过程。
多重性不一定表现为一张明确列出的检验结果表。在结局指标的定义、协变量调整方式、亚组划分界限、变换方式或停止时点之间进行搜索,都可能增加获得有利结果的机会。反过来,测量多个变量,也不会自动使针对其中某个变量、真正事先指定的推断失效。关键在于这项结论是如何产生的,以及它在重复抽样意义下具有什么保证。
历史上,处理组均值之间的比较使这一问题在方差分析中受到重视。显著的总体检验可以表明,各组均值并非全部相等;但仅凭这一结果,并不能不加限制地按照通常的显著性水平进行各项单独比较。后来的应用将同样的推理扩展到了数千乃至数百万次同时进行的检验。
假设族与不同的错误控制准则
假设族是为某一推断目的而一并处理的一组假设。如何界定假设族取决于所要作出的论断,而不只是看结果是否出现在同一张表中,或是否来自同一个数据集。如果多项比较为同一结论提供了可相互替代的论证途径,它们通常应归入同一假设族。反之,彼此独立设定的不同科学问题,可以分别具有各自的推断保证。如果在查看结果之后才界定假设族,就可能掩盖多重比较校正本来要处理的选择行为。
设 为真实原假设的数量, 为被拒绝的原假设总数, 为被拒绝的真实原假设数量。族错误率为
如果在所有原假设均为真时,某一方法能将这一概率限制在 以内,就称该方法在 水平上提供弱控制。如果无论真假原假设如何组合,这一上界都成立,就称其提供强控制。强控制十分重要,因为实际应用中通常既有效应确实存在的情况,也有效应不存在的情况。
其他准则回答的是不同的问题。每次比较错误率为 ,而每族的期望错误数为 。两者都不直接约束出现任何错误发现的概率。实际的错误发现比例为
而错误发现率是这一比例的期望值,
按照这一定义,当没有任何假设被拒绝时,该比例为零。在所有原假设均为真的情形下,每一次拒绝都是错误的,因此 FDR 与 FWER 相等。当许多备择假设为真时,控制 FDR 可以允许拒绝多得多的原假设。
这些区别有助于避免几种常见误解。在 水平上控制 FDR,并不意味着所报告的每项发现都有 5% 的概率是错误的,也不保证某次具体实验的所有发现中,错误发现的比例不超过 5%。它所约束的是重复执行整套程序时的平均值。相比之下, 之类的准则,关注的是实际错误发现比例超过某个选定容忍限度的概率。
错误控制也会以降低统计功效为代价;统计功效是检出真实效应的概率。与控制平均错误发现比例的方法相比,旨在防范哪怕一次错误拒绝的方法通常需要更强的证据。因此,如何选择也部分取决于科学研究本身:少量验证性论断所需的保护,可能不同于大规模探索性筛查所需的保护。数学保证能阐明这种权衡,却不能决定哪些错误最为重要。
单步校正与同时置信区间
邦费罗尼校正以 的显著性水平分别检验 个假设。设 为真实零假设的索引集,且每个零假设下的 p 值均有效,即 ,则由并集上界可得
这表明,无须对各检验之间的依赖关系作任何假设,即可对族错误率(FWER)实现强控制。等价地,邦费罗尼校正后的 p 值为 。若进行 20 次比较,且族显著性水平为 ,则每次比较未经校正的 p 值必须不大于 。
希达克校正采用以下单次检验阈值:
对于相互独立的精确检验,该阈值使所有零假设均成立时的 FWER 恰好等于 ;对于相互独立的有效检验,它也能提供强控制。其阈值略高于邦费罗尼校正的阈值。独立性是该校正成立的充分条件,某些存在依赖关系的情形也允许使用这种校正,但它并非在任意依赖关系下都有效。
加权版本将错误率预算按不同比例分配给各个假设。对于满足 的固定非负权重 ,在 时拒绝相应零假设,仍可保留邦费罗尼校正的保证。对优先级较高的假设赋予较大权重,可以使其检验阈值更宽松。如果权重是利用正在接受检验的同一批结果证据选定的,就需要额外论证;固定权重下的论证并不能自动涵盖这种自适应选择。
多重性校正也适用于置信区间。构造 个区间,使每个区间的覆盖率至少为 ,即可使同时覆盖率至少达到 。对于适合采用正态近似的估计量,邦费罗尼区间的形式为
其中, 是标准正态分布的 分位数, 表示标准误。有限样本方法则可能需要使用学生 t 分布的分位数,或其他与具体模型相应的分布。
同时覆盖的陈述针对的是整组区间:以所述覆盖概率,每个区间都覆盖其对应的固定参数。这并不是给参数落在某个已观测到的特定区间内赋予概率。同时置信区间通常也比普通的边际置信区间更宽,因为它们需要防范查看多个估计结果后,挑出看起来最极端的结果加以强调所带来的风险。邦费罗尼校正的通用性使其很实用,但利用已知联合结构的方法往往能得到更窄的区间。
逐步程序、闭合检验与均值比较
单步程序对所有假设使用预先确定的阈值。逐步程序则利用排序后的证据,在维持指定错误率保证的同时提高检验功效。将排序后的 p 值记为 。斯图雷·霍尔姆于 1979 年发表的 霍尔姆法从最小的 p 值开始,将各个值依次与以下阈值比较:
一旦某一步未能拒绝假设,检验便停止;该假设及其后的所有假设均不予拒绝。霍尔姆程序在任意依赖关系下都能对族错误率(FWER)实施强控制;普通邦费罗尼法拒绝的每个假设,它都会拒绝,有时还会拒绝更多假设。
1988 年提出的霍赫贝格程序则沿相反方向进行。它寻找满足下式的最大下标 :
并拒绝假设 。与霍尔姆法不同,其一般性保证要求检验之间相互独立,或满足适当的正依赖条件。尽管这两种程序使用相同的数值阈值序列,其逻辑却不同:霍尔姆法要求此前的所有检验均达到拒绝条件,而霍赫贝格法则根据某个达到拒绝条件的有序 p 值,拒绝所有 p 值更小的假设。
闭合检验程序提供了一种统摄这些方法的一般原则。对于基本假设的每个非空子集,构造一个交集假设,即该子集中的所有假设均为真。只有当包含某个基本假设的每个交集假设都被有效的水平为 的局部检验拒绝时,才拒绝该基本假设。如果一个为真的基本原假设被拒绝,那么所有真原假设的交集也必然已被拒绝。对这一交集假设的检验水平上界,确立了对 FWER 的强控制。霍尔姆法可以由采用邦费罗尼局部检验的闭合检验推导而来,是其高效的简化实现。
当比较具有已知结构时,专门设计的程序可能更有效。图基极差检验源于约翰·图基 1949 年的研究,利用学生化极差分布,对具有共同方差的正态总体均值进行所有两两比较。图基–克雷默扩展可处理各组样本量不相等的情况。1955 年提出的 邓尼特检验专门用于多个处理组与同一个对照组的比较,它利用这些比较之间的相关性,而不对处理组之间的每项比较都提供错误率控制。
1953 年提出的谢费法为组均值之间的所有对比提供错误率控制,而不仅限于预先确定的有限个两两差异。这种更广泛的控制范围,可能使它在只关注少量比较时更为保守。同样,将总体方差分析检验用作前置关卡,并不能自动为任意后续检验提供强控制。错误率保证取决于完整的拒绝规则,其中也包括通过这一关卡后允许进行哪些比较。
用于大规模筛选的错误发现率控制程序
约阿夫·本杰明尼和约瑟夫·霍赫伯格于 1995 年提出的本杰明尼—霍赫伯格程序,改变了处理大批假设的标准方法。它不再以防止出现任何一次错误拒绝为首要目标,而是控制所有发现中错误拒绝所占比例的期望值。当存在许多真实信号时,这种方法可以大幅提高检验功效。
给定目标错误发现率(FDR),将 p 值排序,并求出
拒绝与 对应的假设;如果上述集合为空,则不拒绝任何假设。在各检验相互独立且原假设下的 p 值有效时,该程序可将 FDR 控制在不超过 的水平,因此也不超过 。在一种特定的正相依条件下,这一控制仍然成立;该条件称为真原假设子集上的正回归相依性。任意相关结构并不都满足这一条件。
这种逐步上升的构造至关重要。假设有十个假设,且 ,则按序排列的前三个阈值为 、 和 。如果前三个 p 值为 、 和 ,且后续没有任何 p 值达到相应阈值的要求,那么这三个假设都会被拒绝。如果采用固定为 的邦费罗尼阈值,则只会拒绝第一个假设。此外,即使某个较早的 p 值未达到其所在排序位置的阈值要求,只要后面某个 p 值达到相应阈值的要求,也可以据此拒绝前面那些 p 值对应的假设。
本杰明尼和丹尼尔·耶库铁利于 2001 年确立了适用于任意相依结构的版本。该版本将 替换为 ,其中
由此得到的阈值为 。由于 大致按 增长,为应对相依性而增加的保护幅度可能相当大。该程序提供了适用范围广泛的保证,但如果有充分依据支持关于联合分布的更具体信息,它就可能显得过于保守。
普通本杰明尼—霍赫伯格程序的 FDR 校正 p 值,按排序顺序可表示为
这些校正 p 值给出了该程序拒绝每个假设所需的最低目标 FDR 水平。相关方法通过估计真原假设所占的比例来提高检验功效。这类自适应程序需要各自的假设条件和保障措施;仅仅用一个非正式估计的“相关”检验数量替换 ,并不能继承原定理的保证。
相依性、重采样与结构化假设
不同检验往往共用观测值、结局变量、对照组或模型参数。它们之间的相依性不只是技术上的麻烦:它决定了出现极端结果的独立机会有多少。完全相同的检验只提供一次这样的机会,而相互独立的检验则提供多次机会。协方差矩阵可以描述这种关系的某些方面,但仅凭两两相关性,通常无法确定同时推断所需的联合尾概率。
一种直接的策略是校准最大的检验统计量。如果 衡量反对假设 的证据强度,就可以在相关的零假设模型下,选取一个共同的临界值 ,使其满足
这种最大统计量方法利用联合抽样分布,而不是把每次比较都视为彼此无关。在存在较强正相依性的情况下,由此得到的阈值可能明显比邦费罗尼阈值宽松。
置换方法通过按照研究设计或零假设所允许的方式重新排列标签,来估计这类分布。例如,可以依照随机分配方案重新分配处理,并在每次重新分配后重新计算最大统计量。对于聚类数据或重复测量数据,通常不能把观测值当作彼此独立的数据来任意打乱。有效的重排必须保留所需的可交换性,或遵循实际的分配机制。
当某些效应确实存在时,在完全零假设下进行重采样,并不能自动实现对族错误率(FWER)的强控制。基于重采样的多重检验经常使用一个称为子集枢轴性的条件:任意一个由真实零假设组成的子集,其统计量的联合分布不取决于其他哪些假设为假。韦斯特福尔–扬方法使用联合重采样分布和逐步下降式构造;两位作者在其1993年关于基于重采样的多重检验的专著中,对这类方法作了重点阐述。如果缺少必要的假设,完全零假设下的校准可能只能提供弱控制。自助采样方法提供了其他近似方式,其有效性取决于模型、统计量和重采样方案。
假设也可能具有逻辑结构或科学结构。例如,层级检验可以先检验某条生物通路中是否存在任何信号,再考察各个基因。在空间成像中,检验程序可以针对体素、簇或区域;这些是不同的推断对象。在簇水平上发现效应,并不能证明簇内每个位置都存在效应。
因此,并不存在一个通用的“有效独立检验次数”,能够解决所有情境中的相依性问题。如果针对特定模型推导并验证,这类近似方法可以很有用;但联合分布方法和针对具体结构设计的程序,能更明确地呈现其所依赖的假设。
选择、模型搜索与选择后推断
如果研究者在看过数据之后才决定报告哪些问题,多重性就会变得格外微妙。研究者可能考察许多亚组效应,选择一个结果有利的线性回归模型,或者报告处理差异最大的结局。此时,对所选结果进行的名义检验,忽略了使该结果显得异常的选择过程。相关的参照分布,不一定是在观察数据之前就已指定的假设所对应的分布。
选择也会扭曲估计。将许多含有噪声的估计值排序时,最大的观测估计值往往既包含真实效应,也包含异常有利的噪声。这种“赢家诅咒”与选择偏差和均值回归有关。某个被选中的效应可能确实不为零,却仍被大幅高估。仅仅调整 p 值,并不能消除这种估计偏差,也不能恢复常规置信区间的覆盖率。
一种应对方法是,对预先指定的候选集合进行同时推断。假设区间 以至少 的概率同时覆盖所有固定参数 。那么,从该集合中根据数据作出的任意选择 都满足
只要所有区间都覆盖其对应参数,所选区间也就覆盖其对应参数。这一推理能为在指定目标之间进行的选择提供保障,但不会自动涵盖原有参数族中不存在、依赖新构建模型的参数。
另一种应对方法是选择性推断,即明确将选择规则纳入考虑。在某些高斯线性模型问题中,套索回归等方法产生的选择事件,可以用关于观测数据的线性不等式表示。以选择事件及适当的其他量为条件时,所选线性对比服从截断正态分布。随后,便可针对所指定的条件推断目标构造检验和区间。它们的解释取决于究竟选择了什么,以及以哪些信息为条件。
样本拆分将用于发现问题的数据与用于检验问题的数据分开。在一部分数据上选出的假设,可以在另一部分独立数据上检验,而不必因第一部分中进行过的每一次搜索而调整该检验;前提是第二部分确实从未被查看或使用过,且在给定第一阶段选择的条件下,检验仍然有效。代价是,用于选择和确认的信息都会减少。反复查看留出集会破坏这种分离。
交叉验证主要用于估计预测性能;在大量调参之后,它并不能自动保证系数 p 值的有效性。从众多模型中挑选表现最好的模型,也可能使所报告的性能估计产生偏差。嵌套评估和独立重复验证能够解决这一问题的某些方面,但它们所提供的保证取决于完整的搜索与评估流程。
实验规划、重复查看数据与特定应用中的结论
如果在查看结果之前就明确拟作出的结论和决策规则,多重性往往更容易界定。预注册的分析计划可以明确主要结局、比较族、检验方向、亚组分析和校正方法。这并不能保证统计模型正确,但能将预先规划的推断与探索中发现的问题区分开来,并使相关的搜索空间更加清晰。
在随机对照试验中,成功判定标准的逻辑形式十分重要。如果多个终点中任意一个达到统计显著性就可以宣告成功,那么就存在多条错误宣告成功的路径。如果要求多个共同主要终点全部达到统计显著性才能宣告成功,逻辑则有所不同。在交并检验中,只要总体结论不成立,就至少有一个必须被拒绝的分量原假设为真;拒绝所有分量原假设的概率,不会超过针对该真实分量原假设的有效检验所设定的显著性水平。因此,无须进行邦费罗尼式的除法校正,也能控制这一合取结论的错误率,不过,若要对各个终点分别作出结论,可能还需要额外处理。
随着数据不断积累而重复查看数据,会产生时间维度上的多重性。每获得一批新数据就进行一次普通的固定样本量 检验,通常无法将假阳性概率保持在 5%。群组序贯方法则在预定的各次分析之间分配越过检验边界的概率,通常通过 α 消耗函数来实现。这类方法利用中期统计量的联合分布进行校准;由于后续分析包含先前的观测数据,这些统计量之间存在很强的相关性。
在高维生物学中,比较族可以包括基因、遗传变异、组织、表型,或它们的组合。基因表达检验通常采用错误发现率(FDR)控制,因为其直接目标是生成一份供进一步研究的候选清单。全基因组关联研究在分析常见变异时,常采用接近 的惯用阈值,以应对在大量相关变异中进行搜索所带来的多重性。这一阈值是基于特定研究结构形成的领域惯例,并不是适用于所有基因组分析或所有祖源构成的通用解决方案。
当假设不是作为固定的一批一次性提出,而是持续不断地出现时,还需要作出进一步区分。在线多重检验利用检验每个新假设之前已获得的信息,为其分配检验水平。α 投资及相关方法允许检验预算动态变化,有时会以增加未来检验额度的方式奖励新发现。不同方法控制的量不同,其保证可能依赖于独立性或条件有效性。
在上述各种情境中,有效的多重性处理方法都无法补救无效的分量检验。未纳入模型的聚类结构、不恰当的停止规则、测量伪象或混杂,都可能使输入的 p 值失效,或使科学解释无法成立。错误率控制描述的是特定统计程序在其假设成立时的表现,而不是整个研究过程的可靠性。
贝叶斯方法、估计与解释的局限
贝叶斯推断通过联合建模、先验概率和后验决策规则来处理多重性,而不是强制对 p 值采用统一的校正。对于涉及多个假设的情形,一种实用的模型为零假设状态赋予概率 ,为备择假设状态赋予概率 。如果观测值 在这两种状态下的密度分别为 和 ,则其后验零假设概率为
解释证据时,需要结合效应存在的普遍程度及其分布,而不只是考察零假设下的尾部概率。
层次模型使相关效应能够共享信息。例如,可以将效应估计值建模为带有噪声的观测值,其对应参数来自同一分布。估计得到的总体层面变异程度,进而影响各个估计值向共同中心收缩的强度。经验贝叶斯方法利用整组观测数据来估计这一分布的某些特征。这种信息借用可以减轻极端估计值的夸大程度,但其表现取决于模型是否恰当,以及如何处理超参数的不确定性。
对于选定的集合 ,设其大小为 ,并假设 为假设 是零假设的后验概率。给定观测数据,错误发现比例的后验期望为
这一等式由条件期望的线性性质得出,并不要求后验独立性。它为基于后验期望错误率的决策规则提供了依据。不过,它不同于频率学派的错误发现率(FDR)定理:后者是在指定且固定的效应配置下,对重复获取的数据集取平均。
贝叶斯建模不会自动消除未报告的搜索过程或不完整的观测机制所带来的影响。如果模型只涵盖筛选出的结果,却忽略该结果是如何进入观测范围的,那么其解释就可能遗漏相关的选择信息。以选择事件为条件是否会改变后验分析,取决于抽样模型、已观测到的信息以及推断目标。同样,为数千个效应分别指定相互独立的弥散先验,并不等同于拟合一个考虑了稀疏性的层次模型。
另一个局限涉及“发现”的含义。无论是经过多重性校正的 p 值,还是后验零假设概率,都不能衡量效应量、实际重要性或因果关系。大样本能够检出相对于零假设而言微不足道的偏离;严格的校正则可能漏掉具有实质意义的效应。要描述究竟发现了什么,仍然需要给出估计值及恰当的不确定性表述。
选择性发表又增加了一层问题:即使单项研究内部的分析已经得到妥善校正,它们仍可能进入一个受发表偏倚影响的文献体系。一篇论文内部所采用的统计检验族,未必能代表各实验室、各数据集及未发表分析中的全部搜索。因此,对多重性控制的保证必须明确其适用范围:所考虑的假设、选择规则、错误控制准则,以及该准则得以受到控制所依赖的假设。