在统计假设检验中,如果检验拒绝了一个实际上为真的原假设,就发生了第一类错误。它也常被称为假阳性,但什么算作“阳性”,取决于假设的具体表述方式。这类错误的发生概率通过检验的显著性水平来控制,通常用 表示。这是在特定假定下检验程序的一项性质,而不是某个被拒绝的假设实际上为真的概率。
定义与数学表述
统计检验根据观测数据,在拒绝原假设 和不拒绝原假设之间作出选择。备择假设 描述原假设之外的参数取值或模型。
设 表示数据, 是决定其概率分布的参数,将原假设写为
若 为检验的拒绝域,即所有会导致拒绝原假设的可能数据集组成的集合,则在原假设下某个特定参数值处,第一类错误的概率为
这里, 表示按照 所指定的分布计算的概率。参数被视为固定值,随机性来自数据。
对于指定单一分布的简单原假设,第一类错误的概率只有一个。对于允许多个参数取值的复合原假设,错误概率可能随参数取值而变化。检验的大小为
如果检验的大小不超过 ,就称它为水平为 的检验。因此,将某个程序称为“5% 水平的检验”,通常意味着在用于论证该程序有效性的假定成立时,对原假设下的所有参数取值,其第一类错误概率均不超过 。这并不要求该概率在原假设下的每个参数值处都等于 。
与其他检验结果的关系
两种可能的决策与原假设的两种可能状态相结合,产生四种结果:
| 原假设的状态 | 拒绝 | 不拒绝 |
|---|---|---|
| 为真 | 第一类错误 | 正确地不拒绝 |
| 为假 | 正确拒绝 | 第二类错误 |
第二类错误是指未能拒绝一个实际上为假的原假设。当某个指定的备择假设为真时,拒绝原假设的概率就是检验的统计功效。第一类与第二类错误的区别涉及底层模型的不同可能状态;在同一个固定参数值下,它们并不是互补事件。
通常,“不拒绝”比“接受”更为准确。检验未能得出明确结论,可能是因为信息有限,而不是因为存在支持原假设为真的证据。旨在确立等效性或非劣效性的检验,会采用不同形式的原假设和决策准则。
示例:总体均值的检验
假设 是来自某个正态分布的独立观测值,该分布的均值 未知,标准差 已知。考虑双侧检验
在 成立时, 服从标准正态分布。一个水平为 的检验在以下条件成立时拒绝原假设:
其中, 为标准正态分布的累积分布函数。
如果 确实等于 ,则统计量落入两端拒绝域的总概率为 。这样的拒绝就是第一类错误。
在该原假设模型下,独立地重复应用这一检验,随着应用次数增加,拒绝原假设的比例会趋近于 。这并不意味着每一百次检验中恰好有五次拒绝原假设,也不意味着某一次拒绝有 5% 的概率是错误的。
对于单侧备择假设,例如 ,拒绝域则位于分布的一端。在查看观测到的效应后再选择检验方向,通常无法维持所声明的错误率。
显著性水平、P值与置信区间
显著性水平与观测P值的区别
显著性水平是界定检验程序如何控制错误的阈值。P值根据观测数据计算,按照指定的结果排序方式,衡量这些数据与原假设模型的不相容程度。
对于有效的P值,有
因此,只要 就拒绝原假设,便可得到一个水平为 的检验。
在某些连续型原假设模型下,P值严格服从均匀分布。在其他情形下,尤其是在离散型检验中,P值的分布可能是保守的,使拒绝原假设的频率低于名义水平。
观测到的P值为 ,并不表示:
- 原假设为真的概率;
- 这一次拒绝属于第一类错误的概率;
- 效应大小或实际重要性的度量。
实际重要性是另一个问题,通常通过效应量及其不确定性来考察。
置信区间的对偶性
检验与置信区间可以通过相互反演来构造。在相互匹配的构造中,一个水平为 的检验拒绝某个给定参数值,当且仅当相应的 置信集不包含该值。
覆盖率保证
对应于对拒绝真实参数值的概率进行控制。这种关系要求检验程序与区间构造方法相互兼容;任意选择的检验和区间未必会给出一致的判断。
实践中的错误控制
名义错误率与实际错误率
名义显著性水平是否有依据,取决于检验程序的假定在多大程度上成立。观测值之间的依赖关系、错误的分布假定、不适用的近似方法,或分析方法与实验设计不匹配,都可能使实际的第一类错误率偏离名义水平。
有些检验在特定假定下,对有限样本也能提供精确保证。另一些检验则提供渐近保证,其准确性随样本量增加而提高。仅靠大样本并不能纠正所有形式的模型设定错误。
根据数据作出的选择同样重要。在查看结果后再选择结局指标、亚组、模型或停止时点,可能改变拒绝原假设的概率。序贯检验程序可以允许在数据不断积累的过程中反复查看数据,同时控制第一类错误,但其决策边界必须将这些查看行为纳入考虑。
多重检验
在检验多个假设时,分别控制每次检验的错误率,通常并不能控制至少发生一次错误拒绝的概率。
如果 次检验具有统计独立性,所有原假设均为真,且每次检验的第一类错误概率都恰好为 ,则
当 、 时,这一概率约为 。
多重检验程序会明确其控制的是哪一种总体错误率。例如,邦费罗尼校正以 的水平检验 个假设中的每一个,从而将发生一次或多次错误拒绝的概率控制在不超过 的范围内,而且不要求各检验相互独立。
错误发现率则不同:它是所有被拒绝的假设中错误拒绝所占比例的期望值;当没有拒绝任何假设时,将该比例定义为零。
权衡与解释
对于固定的检验问题和一族嵌套的拒绝域,降低 会使拒绝原假设变得更困难,通常也会降低功效。增加样本量则可以在维持相同显著性水平的同时提高功效。这种平衡还取决于所关注的备择假设,以及两类错误各自的后果。
20世纪早期发展起来的奈曼—皮尔逊框架,将在第一类错误概率不超过指定上限的约束下寻求高功效检验的策略形式化。在更广泛的决策理论中,也可以通过损失函数来表示错误的后果。不能仅仅因为某个显著性水平是惯例,就认为它在所有情况下都适用。
控制第一类错误,也不能确定所报告的研究发现中错误结论所占的比例。该比例取决于被检验的原假设为真的频率、检验的功效,以及分析方法和结果的选择方式。例如,假设在 1,000 次检验中,有 900 个原假设为真,100 个为假。如果每次原假设为真的检验,其错误概率为 ,而每次原假设为假的检验,其功效为 ,则错误拒绝和正确拒绝的期望次数分别为 45 次和 80 次。错误拒绝的期望次数占全部拒绝的期望次数的比例为 ,而不是 5%;这一比值通常并不等同于错误发现比例的期望值。
要为假设本身赋予概率,需要额外的框架,例如贝叶斯推断,并指定模型和先验分布。频率学派对第一类错误的保证,关注的是在原假设为真时检验程序的表现,而不是某个具体结论出错的后验概率。