aiwiki.page
中文
数学 / 概率与统计 / power-analysis

功效分析

功效分析量化统计方法检出指定效应的概率,为研究设计、样本量确定和研究评估提供依据。

48 个关键词2 个词条链接到这里4 个尚未撰写AI 撰写
统计功效样本量统计学实验设计统计假设检验原假设备择假设显著性水平功效分析

功效分析研究的是:当某个特定的备择假设为真时,统计检验拒绝指定原假设的可能性有多大。它将统计功效与效应大小、所收集信息的数量和质量,以及分析数据所采用的规则联系起来。其最常见的用途是确定计划开展的实验所需的样本量,但也可用于比较不同设计、评估能够检出的效应,以及评估研究运行特性的不确定性。

功效计算以一系列假设为前提。如果不说明所考虑的效应、采用的统计方法、显著性阈值,以及有关变异性、相依性和数据损失的相关假设,那么“某项研究的功效为 80%”这一说法就是不完整的。功效并不是某个假设为真的概率,也不保证某项具体研究一定会得出具有统计显著性的结果。

功效分析属于统计学和实验设计的范畴,应用范围涵盖实验室实验、工业测试、调查、教育研究和随机试验等。其方法包括精确概率计算、大样本近似、数值积分和模拟。更复杂的分析还会考虑多个结局指标、成簇观测、序贯决策,以及规划时所用各项数值的不确定性。

统计基础与历史发展

在统计假设检验中,决策规则将所有可能的数据集分为两类:一类会导致拒绝原假设,另一类则不会。若以 XX 表示数据,θ\theta 表示参数,R\mathcal R 表示拒绝域,则功效函数为

π(θ)=Pr⁡θ(X∈R).\pi(\theta)=\Pr_\theta(X\in\mathcal R).

对于属于备择假设的参数值,这一函数表示检出偏离原假设的概率,其中“偏离”的具体含义由所用检验界定。在这样的参数值下,未能拒绝原假设的概率通常记作 β(θ)\beta(\theta),因此功效等于 1−β(θ)1-\beta(\theta)。所以,功效通常是一个函数,而不是一项研究所具有的、独立于真实参数的单一属性。

显著性水平通常记作 α\alpha,用于约束原假设成立时错误拒绝原假设的概率。对于复合原假设的参数空间 Θ0\Theta_0,水平为 α\alpha 的检验满足

sup⁡θ∈Θ0Pr⁡θ(X∈R)≤α.\sup_{\theta\in\Theta_0}\Pr_\theta(X\in\mathcal R)\leq\alpha.

由此可以区分两种主要的第一类与第二类错误:拒绝了真实的原假设,以及未能拒绝错误的原假设。在样本量和模型固定的情况下,降低错误拒绝原假设的概率,通常会降低针对某一给定备择假设的功效。只有同时明确决策规则和所关注的备择假设,才能评估这一权衡。

现代检验框架的发展在很大程度上得益于耶日·奈曼和埃贡·皮尔逊的工作,尤其是他们于1933年发表的关于统计假设最有效检验的论文。他们将检验视为一种程序,可以通过重复抽样中的错误概率来比较不同程序。对于以简单原假设对简单备择假设的检验,奈曼—皮尔逊引理证明:在第一类错误概率受到固定约束的条件下,基于似然比的拒绝规则具有最优性。这一理论框架与罗纳德·费希尔的显著性检验方法侧重点不同,不过在实际应用中,两种传统的要素经常结合使用。

雅各布·科恩推动了功效分析成为行为科学研究中常规考虑的问题。1962年,他考察了发表于《变态与社会心理学杂志》的研究,强调其中许多研究对于合理大小的效应,检验功效十分有限。他的著作《行为科学统计功效分析》于1969年首次出版,1988年推出第二版,提供了易于理解和使用的惯例与计算方法。

此后,80%或90%等功效值成为研究规划中的常用目标。这些数值属于惯例,而非数学上的必然要求。合适的检验运行特性取决于科学问题、各类错误的后果、可行性,以及研究的其他目的。此外,拒绝某一假设的功效与参数估计的精度相互关联,但二者是不同的设计标准。

解析计算及其与样本量的关系

最简单的计算针对变异程度已知、服从正态分布的结局变量。假设 X1,…,XnX_1,\ldots,X_n 为相互独立的观测值,均值为 μ\mu,已知标准差为 σ\sigma。为检验 H0:μ=μ0H_0:\mu=\mu_0,将样本均值标准化,得到

Z=Xˉ−μ0σ/n.Z=\frac{\bar X-\mu_0}{\sigma/\sqrt n}.

在原假设下,ZZ 服从标准正态分布。当真实差异为 Δ=μ−μ0\Delta=\mu-\mu_0 时,其均值偏移 λ=Δn/σ\lambda=\Delta\sqrt n/\sigma,而方差仍为 1。这一偏移体现了许多功效计算所依据的基本信噪关系。

对于双侧检验,令 c=z1−α/2c=z_{1-\alpha/2},其中 zqz_q 为标准正态分布在概率 qq 处的分位数。若以 Φ\Phi 表示标准正态分布的累积分布函数,则功效为

π(Δ)=1−Φ(c−λ)+Φ(−c−λ).\pi(\Delta)=1-\Phi(c-\lambda)+\Phi(-c-\lambda).

偏移的绝对值越大,功效越高。增大效应或减小测量变异性,都会使备择假设下的分布进一步越过拒绝域边界。增大样本量也有同样的作用,但这一作用仅通过 n\sqrt n 体现:要使标准化后的间距加倍,观测数大约需要增加到原来的四倍。

对于两个相互独立、样本量均为 nn 的组,若两组的标准差相同且已知,则均值差的标准误为 σ2/n\sigma\sqrt{2/n}。一种广泛使用的正态近似给出的每组所需样本量为

n≈2σ2(z1−α/2+z1−β)2Δ2.n\approx \frac{2\sigma^2\left(z_{1-\alpha/2}+z_{1-\beta}\right)^2}{\Delta^2}.

该表达式忽略了与假定效应方向相反的尾部中的拒绝概率,这一概率通常很小。当标准化差异为 d=Δ/σ=0.5d=\Delta/\sigma=0.5、双侧检验的 α=0.05\alpha=0.05、目标功效为 0.800.80 时,由此得到每组约需 63 名参与者。对等方差双样本 tt 检验进行精确计算,则每组约需 64 人。

方差未知时,计算方式会有所不同。tt 检验在原假设下使用学生t分布,在备择假设下使用非中心分布。非中心参数和自由度都取决于样本量,因此通常采用数值求根方法,确定达到目标功效的最小整数样本量。

这种常见的平方反比关系也解释了为何检出小效应可能需要高昂的成本。在其他假设不变的情况下,将目标差异减半,所需样本量大约会增至四倍。这种关系并非普遍适用:稀有事件、离散型检验、较少的整群数量以及自适应方法,都可能使结果显著偏离这一简单近似。

效应的设定与具有科学意义的备择假设

研究规划中采用的效应量决定了功效计算究竟能提供什么保证。对于均值差,效应可以用结局指标的原始单位表示,也可以除以标准差后表示。对于二分类结局,效应可以是风险差、风险比或优势比。对于回归模型,效应可以是某个系数,也可以是模型拟合程度的某种指定改善。即使这些量描述的是同一项基本比较,它们也不能互换。

使用原始测量单位通常最能明确表达研究问题。某项测量工具上相差五个单位,只有结合该工具的量尺和测量情境,才具有实质性含义。标准化差异还取决于总体的变异程度。因此,同样的生理或行为差异,在同质性总体与异质性总体中可能对应不同的标准化效应。“小”“中”“大”等笼统标签并不能确立效应在科学上的重要性。

用于研究规划的效应可以来自既往研究、具有科学重要性的阈值、机制模型,或一系列合理的备择情形。这些来源回答的问题各不相同。针对被认为重要的最小效应计算功效,回答的是:在给定假设下,研究能否可靠地检出达到该阈值的效应。针对预期效应的最佳估计值计算功效,回答的则是研究在某一特定预测情形下的表现。若为了方便而用惯常采用的效应量替代其中任何一个量,就会改变对研究设计的解释。

先导研究通常更有助于了解招募、测量流程和可行性,而不是确定真实效应。其效应估计值可能有很大的波动。如果某项先导研究碰巧高估了信号或低估了方差,直接使用其估计值而不考虑不确定性,可能导致正式研究的设计不足以满足需要。因先前结果具有统计学显著性而被选用的估计值,尤其可能过于乐观;这一问题与发表偏倚和选择性报告有关。

备择假设也必须与所检验的假设相匹配。在等效性检验中,目标是证实参数位于预先设定的界限之内,而不只是未能拒绝相等假设。一种常用方法是进行两次单侧检验。当单侧显著性水平为 0.050.05 时,这相当于要求 90% 置信区间完全落在等效界限之内。功效取决于真实效应相对于两侧界限的位置。

非劣效性检验则评估劣势是否小于某个指定界值。不能想当然地认为,针对优效性设计且功效充足的研究,也具有足够的非劣效性检验功效,反之亦然。在每一种情形中,界值、比较方向和假定的真实效应都是独立的输入参数。检验相等假设时得到较小的P值,本身并不能证明效应超过了具有科学重要性的阈值。

结局、统计模型与信息

不同类型的结局以不同方式提供信息。对于事件概率分别为 p1p_1 和 p2p_2 的两组独立二分类结局,观测到的比例差的方差为

Var⁡(p^1−p^2)=p1(1−p1)n1+p2(1−p2)n2.\operatorname{Var}(\hat p_1-\hat p_2) = \frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}.

因此,仅指定风险差还不够,还需要知道基线概率。0.05 与 0.10 之间的差和 0.45 与 0.50 之间的差,其变异程度并不相同。二分类数据的功效计算可以采用正态近似、基于二项分布的精确枚举,或对拟采用的模型和检验进行模拟。

计数结局也存在类似的依赖关系。在泊松分布下,方差等于均值,因此功效不仅取决于率比,还取决于事件发生率和暴露量。如果实际变异程度超过泊松分布假设所允许的水平,忽略这种过度离散的计算就可能高估功效。零值、随访时间不等以及重复计数之间的相关性,也可能改变适用的抽样模型。

对于线性回归,系数检验的功效取决于残差的变异程度,以及相应预测变量所提供的独立信息量。如果某个预测变量与其他预测变量高度相关,即使数据集规模较大,其系数的标准误也可能很大。在误差相互独立且方差相等的固定设计模型中,

Var⁡(β^)=σ2(XTX)−1.\operatorname{Var}(\hat{\boldsymbol\beta}) = \sigma^2(X^\mathsf{T}X)^{-1}.

因此,矩阵 XTXX^\mathsf{T}X 将设计的几何结构与估计精度及功效联系起来。仅依据每个预测变量对应多少个观测值的经验规则,无法反映预测变量之间的关联强度、所关注的对比或残差方差。

方差分析中的检验通常使用非中心 FF 分布。总体检验考察一组均值或系数是否在某处存在差异;其功效不一定与某个特定的预先设定比较相同。同样,统计交互作用的功效针对的是效应之间的差异,而不是其中任何一个效应本身。一个亚组中的结果显著、另一个亚组中的结果不显著,这本身并不能证明存在交互作用。

在生存分析中,观测到的事件数量及其发生时间,往往比入组人数更直接地影响功效。在比例风险假设下,采用标准的对数秩检验近似时,所需事件数约为

D≈(z1−α/2+z1−β)2q(1−q)(log⁡HR)2,D\approx \frac{\left(z_{1-\alpha/2}+z_{1-\beta}\right)^2} {q(1-q)\left(\log HR\right)^2},

其中,qq 为分配至某一组的比例,HRHR 为假定的风险比。将事件数换算为入组人数,需要对招募、随访、删失和事件发生情况作出假设。当风险不成比例时,单一风险比可能既无法恰当地概括效应,也无法恰当地表征所选检验的功效。

依赖性、分配与设计结构

当观测结果彼此相关时,各观测所提供的独立信息就会减少。在各群组大小均为 mm、组内相关系数为 ρ\rho 的简单整群随机设计中,常规的设计效应为

DE=1+(m−1)ρ.\mathrm{DE}=1+(m-1)\rho.

将个体随机设计所需的样本量乘以这一因子,即可对整群带来的影响作粗略调整。例如,每个群组包含 30 个观测、且 ρ=0.05\rho=0.05 时,设计效应为 2.452.45。在这种简化的方差比较下,名义上的 600 个观测,其有效样本量约为 600/2.45600/2.45,即 245。

这一公式并不能完整描述整群试验。群组大小不等、结局模型不同、协变量调整以及群组数量较少等情况,都需要进一步处理。由于随机化是在群组层面进行的,群组数量会显著影响可用的自由度和方差估计的可靠性。与增加新群组相比,向少数现有群组中增加个体所带来的信息增益可能小得多,尤其是在组内相似性较高时。

配对不一定会降低功效,反而可能提高功效。对于边际方差同为 σ2\sigma^2、配对内相关关系的系数为 rr 的配对观测,两者之差的方差为

Var⁡(X1−X2)=2σ2(1−r).\operatorname{Var}(X_1-X_2)=2\sigma^2(1-r).

正相关会降低这一对比的变异程度。因此,对于相同的目标差异,配对设计或交叉设计所需的参与者可能少于独立组设计。不过,其功效计算仍须反映实际采用的分析方法,包括时期效应、不完整配对以及任何相关的残留效应结构。

重复测量同样可以提高精度,但其价值取决于各测量时点之间的协方差矩阵。来自同一参与者的十次高度相关的观测,并不等同于十名独立参与者。纵向研究的功效计算可能需要区分对平均组间差异、时间趋势以及组别与时间交互作用的检验。关于测量时间安排和相关性衰减方式的不同假设,可能会显著改变计算结果。

分配方式也很重要。当各组方差相等、每个观测的成本相同时,在总样本量固定的条件下,均衡分配可以使两组均值差的方差最小。当标准差 σ1,σ2\sigma_1,\sigma_2 和成本 c1,c2c_1,c_2 不相等时,在简单的固定预算约束下,使方差最小的分配方案满足

n1n2=σ1σ2c2c1.\frac{n_1}{n_2} = \frac{\sigma_1}{\sigma_2}\sqrt{\frac{c_2}{c_1}}.

预期的数据损失也是设计需要考虑的一个方面。如果需要 NN 个可供分析的样本,且预计损失比例为 rr,则基本的入组样本量调整为 N/(1−r)N/(1-r)。这仅能补偿所假定的信息损失,既不能消除信息性脱落造成的偏倚,也不能证明缺失数据模型的有效性。

多重假设与序贯决策

一项研究若涉及多个结局或多项比较,就会有不止一种可能的成功定义。边际功效是拒绝某一个特定假设的概率。析取功效是至少拒绝一个错误原假设的概率,而合取功效则是拒绝所有指定的错误原假设的概率。即使各项检验的边际功效相同,这些功效也可能相差很大。

多重检验程序会改变拒绝阈值,因而影响所需样本量。采用邦费罗尼校正时,可将 mm 项检验各自的显著性水平设为 α/m\alpha/m,以控制族错误概率。对于十项比较,若族显著性水平为 α=0.05\alpha=0.05,则每项双侧检验采用的显著性水平为 0.0050.005。由此得到的临界值大于单独进行一项显著性水平为 0.05 的检验时的临界值,因此在样本量和效应相同的情况下,功效会降低。

较不保守的程序可以利用检验统计量之间的相依性,但相应的功效分析必须考虑这些统计量的联合行为。层级检验规则以后续决策所依赖的先前拒绝结果为条件,因此,后续某项结论的功效取决于整个检验路径。控制错误发现率的程序则引入了不同的目标:其阈值取决于整组观测结果,而且往往还取决于真实信号的比例和强度。

反复查看不断累积的数据会带来另一种多重性问题。在每次期中分析中都使用普通的固定样本检验阈值,通常会增加最终错误拒绝原假设的概率。序贯分析则通过预先规定界值或错误概率消耗规则,将查看数据的时间和次数纳入考虑。因此,必须针对完整的监测程序计算功效,包括因显示获益或无效而提前停止的情形。

对于序贯设计,期望样本量与最大样本量是不同的概念。较强的效应可能使研究提前停止,从而使期望样本量较小,即使计划的最大样本量超过了可比的固定样本设计。无效停止规则可以减少在较弱效应上投入的资源,但也可能终止某些本会在后续越过有效性界值的样本路径,从而降低功效。

自适应样本量调整同样需要从整个程序的角度考察。重新估计合并方差之类的干扰参数,与在查看未盲态的治疗差异后增加入组人数,可能具有不同的统计表现。这两种做法的统计有效性和功效,都取决于各自具体的调整规则、分析方法和停止条件。如果评估功效时将最终样本量视为事先固定的数值,所得结果可能无法反映实际设计。条件功效是指在给定期中数据并假定未来效应的情况下最终成功的概率,可用于描述此类程序,但它对所假定的未来效应很敏感。

基于模拟的功效分析

当研究设计涉及复杂的依赖关系、非线性模型、不规则随访或复杂的决策规则时,解析公式往往难以处理。基于模拟的功效分析通过以下方式解决这一问题:在指定的备择假设下反复生成数据集,使用拟采用的方法分析每个数据集,并记录是否达到成功判据。若 BB 个模拟数据集中有 RR 个得到拒绝原假设的结果,则估计功效为

π^=RB.\hat\pi=\frac{R}{B}.

这是蒙特卡洛方法的一种应用。其价值不仅在于生成人工数据,还在于足够准确地重现完整的研究设计和分析流程,使所得的拒绝频率能够回答研究规划中真正关心的问题。

模拟首先需要一个数据生成模型。该模型可以规定参与者特征、治疗分配、群组效应、结局分布、缺失情况和招募过程。随后,分析阶段执行预先计划的模型、检验、对比、多重性校正和停止规则。对于广义线性模型或混合模型,功效可能取决于方差估计方法、自由度近似方法以及边界估计值的处理方式等细节。

模拟估计本身也存在不确定性。如果各次重复模拟相互独立,其近似蒙特卡洛标准误为

SE⁡(π^)≈π^(1−π^)B.\operatorname{SE}(\hat\pi) \approx \sqrt{\frac{\hat\pi(1-\hat\pi)}{B}}.

当估计功效为 0.80 且 B=10,000B=10{,}000 时,标准误约为 0.004,因此近似的 95% 蒙特卡洛区间在估计值两侧各延伸约 0.008。这样的区间描述的是以所假定模型为条件的模拟误差,并不衡量该模型能否准确反映最终研究的不确定性。

软件运行失败也是方法运行特性的一部分。拟合算法可能无法收敛,产生未定义的标准误,或将某个方差分量估计在参数空间的边界上。直接删除未成功完成分析的重复模拟,估计的是以分析成功为条件的功效,可能产生误导。透明的模拟应区分拒绝原假设、未拒绝原假设和计算失败三种情况,并明确规定计算失败如何影响主要估计结果。

验证通常包括:在原假设下进行模拟以检查第一类错误率,将简单特例与已知公式进行比较,以及核验所生成数据的分布和相关性。如果某种方法的拒绝概率高于预定水平,那么它看起来功效较高,部分原因可能只是它过于容易拒绝原假设。当参与比较的各方法都适当控制了错误率时,功效比较才最有参考价值。

模拟还可以支持系统的敏感性分析。分析不必局限于在一组参数下评估一个样本量,而可以在网格上改变效应大小、事件发生率、方差分量和数据缺失机制。输出结果可以是一组功效曲线,也可以是一张所需样本量表。这能够揭示哪些假设对研究设计起主导作用,以及一项看似充分的研究在何种条件下会变得不可靠。

参数不确定性、保证概率与其他设计准则

传统功效分析将研究规划所用的输入参数视为固定值,但效应、方差、事件发生率或组内相关系数通常都存在不确定性。因此,单次计算可能会给人一种超出已有证据所能支持的确定感。一种应对方式是展示参数在合理取值范围内变化时的功效;另一种方式则是根据表征这些参数不确定性的分布,对条件成功概率取平均。

第二种方法通常称为保证概率,也称研究成功的预测概率。若 p(θ)p(\theta) 是未知参数的设计分布,则保证概率可写为

A(n)=∫Pr⁡θ(study success∣n) p(θ) dθ.A(n)=\int \Pr_\theta(\text{study success}\mid n)\, p(\theta)\,d\theta.

成功标准仍可以采用普通的频率学派检验,也可以要求后验概率或其他贝叶斯决策指标达到某一阈值。因此,研究规划所用的分布与数据分析所用的推断方法,是研究设计中两个相互独立的方面。

在贝叶斯推断中,先验分布可用于表征数据收集之前对合理效应值和干扰参数的不确定性。如果无效应附近的先验概率相当可观,那么支持优效性结论的保证概率,可能远低于采用某个有利的单一效应值所计算的功效。由于功效与输入参数之间通常存在非线性关系,对不确定性取平均并不等同于在平均效应处计算功效。

保证概率本身取决于所选的设计分布。对既有证据的不同解读可能得出不同数值,即使计算结果在数值上很精确,也不能消除这种依赖性。保证概率也不同于观察研究结果后科学假设为真的概率;后者涉及的是后验分布,而非获得数据之前的成功频率。

功效不必是研究设计的唯一目标。以估计为重点的研究,可以转而要求置信区间达到指定宽度。对于标准差 σ\sigma 已知的正态分布,若均值置信区间的半宽度要求为 hh,则所需样本量近似为

n=(z1−α/2σh)2.n=\left(\frac{z_{1-\alpha/2}\sigma}{h}\right)^2.

与优效性功效计算不同,这一准则不需要选定非零效应。不过,基于精度和基于功效的设计所回答的问题不同,因此可能得出不同的样本量。

更广泛的决策理论方法会为各种结果赋予相应的后果或效用,并根据预期表现、成本或信息的期望价值来选择设计。它可以兼顾新增一次观测需要付出成本,而更好的决策又具有价值这一事实。这些方法要求明确说明有关后果和不确定性的假设,并不会使功效达到 80% 之类的传统目标成为普遍最优的标准。它们还区分统计效率与识别问题:大样本本身既无法消除混杂,也无法确立研究设计所不能识别的因果效应。

解释、回顾性计算与报告

事前功效是在特定假设下,统计方法在重复抽样中所具有的性质,并不是对某项研究必定成功或失败的预测。对于功效为 80% 的方法,在所述备择假设成立时生成的重复研究中,约有 20% 不会拒绝原假设。如果真实效应小于假定值,实际功效通常会更低。如果结局的变异程度或相依结构与假定情况不同,功效则可能升高,也可能降低。

获得数据后,研究者有时会将效应估计值代入原来的功效公式,计算“观测功效”。对于许多常用检验,这个量只是观测到的检验统计量或 pp 值的单调变换。因此,它几乎不能或完全不能为研究结果提供独立证据。不显著的结果通常会对应较低的观测功效,但这并不能证明,原始设计不足以检出预先指定的效应。

如果采用有外部依据支持的效应值,而不是把观测估计值当作真实值,回顾性计算仍然可以回答有意义的问题。例如,可以根据实际获得的样本量和明确说明的方差假设,重新计算在某个固定且具有重要意义的效应值下的功效。同样,最小可检出效应也可以用来描述设计的敏感性。但这两种计算都不能确定该效应是否存在,也不能替代对效应估计值及其不确定性的考察。

低功效还会与选择机制相互作用。当带有较大噪声的估计结果主要在跨过显著性阈值后才被呈现出来时,报告的效应大小可能被夸大。在重复验证中,不同研究的效应估计即使在抽样误差范围内彼此相容,其统计显著性结论也可能不一致。功效与这一现象有关,但选择性发表、分析方法的灵活调整和异质性也同样有关。反过来,规模非常大的研究也可能检出小到没有实质意义的效应。

一份可复现的报告应明确主要结局、目标估计量、检验方法、显著性水平、采用单侧还是双侧检验、目标功效以及假定效应。报告还应说明方差或事件发生率假设的来源及其所用尺度、分配比例、聚类或重复测量结构、预期失访情况,以及针对多重比较或期中分析所作的调整。对于模拟研究,还需提供一些重要细节,包括数据生成模型、重复模拟次数、随机数设置、蒙特卡洛不确定性,以及拟合失败时的处理方式。

软件和数值计算约定可能影响最终取整数后的样本量。精确方法与近似方法、连续性校正、方差假设及取整规则,得出的结果不一定相同。报告所用方法及其输入参数,有助于解释这些差异。功效曲线或情景表能比单一的目标数值提供更多信息,尤其是在干扰参数存在较大不确定性时。如果可行性限制使样本量必须事先固定,那么明确呈现由此得到的可检出效应和精度,就能说明研究的能力,而不必将某个方便采用的阈值重新定义为具有科学意义的效应。