学生t检验是统计假设检验中的一类方法,用于将估计的均值、均值差或模型系数与某个指定值进行比较。比较时,将两者之差除以其估计的标准误,得到检验统计量。在满足适当假设的条件下,当原假设成立时,该统计量服从学生t分布。这一分布考虑了用同一组数据估计效应和变异程度时,后者的估计所引入的不确定性。
主要形式包括单样本检验、配对样本检验和两个独立样本的检验。经典的双样本学生t检验假定两个总体的方差相等;韦尔奇检验放宽了这一假定,并使用近似的t分布作为参照分布。相关的t检验是线性回归及许多其他统计模型的基本组成部分。这些检验的重要性在于将观测到的差异、抽样不确定性与概率证据联系起来,尤其适用于总体变异程度未知的情况。
t检验本身不能确立实际重要性、等效性或因果关系。对其结果的解释取决于抽样设计、所检验的量、标准误所依据的假设,以及能否区分效应的估计值与反对某一特定假设的证据。
历史起源与适用范围
这一检验以“Student”命名,这是威廉·西利·戈塞特的笔名。戈塞特是爱尔兰都柏林吉尼斯啤酒厂的一名统计学家。他于 1908 年发表论文《均值的或然误差》,探讨了基于小样本进行估计时的不确定性。工业研究往往只能获得有限的观测数据,因此,基于大样本的近似方法并不适用。戈塞特研究的是:当总体标准差必须通过估计获得,而不能视为已知时,应如何评估样本均值。
关键困难并不仅仅在于小样本得到的均值不够精确。估计均值标准化时所用的分母,还会引入额外的随机性。在正态抽样条件下,用真实的总体标准差将样本均值标准化,所得统计量服从标准正态分布;若用样本估计值代替这一总体参数,所得统计量则服从另一种尾部更厚的分布。戈塞特的工作为处理这种额外的不确定性提供了依据,而不是将其忽略。
此后,罗纳德·费希尔推动了 t 分布现代理论及其应用的发展,包括它与自由度、回归和实验分析之间的联系。如今常见的统计量表达式,以及它与显著性检验一般框架的融合,都是在这一发展过程中形成的。尽管 t 检验常与小样本联系在一起,但它并不限于小样本:随着自由度增加,作为参照分布的 t 分布会趋近标准正态分布。
“学生 t 检验”有狭义和广义之分。狭义上,独立样本学生 t 检验是采用合并方差、比较两个假定方差相等的正态总体的方法。广义上,“t 检验”还包括单样本检验、配对检验、韦尔奇异方差检验,以及对单个回归系数的检验。这些方法都使用标准化统计量,但其分母和参照分布的自由度不能相互套用。
应采用哪一种检验,取决于实验设计和所关注的参数。对每位参与者进行的两次测量构成配对观测,而来自互不相关组别的测量通常需要采用独立样本分析。同样,与固定参照值进行比较的检验,也不同于与另一样本估计出的参照均值进行比较。将估计得到的参照值当作已知常数,会忽略一部分不确定性。这些区别说明,在选择具体公式之前,必须先明确研究设计。
抽样理论与 t 分布
设 是来自均值为 、方差为 的正态分布的独立观测值。样本均值和样本方差定义为
分母取 ,即通常所说的贝塞尔校正。在正态总体抽样条件下,
服从标准正态分布,而
服从自由度为 的卡方分布。关键在于, 与 相互独立,因此 与 也相互独立。
服从 t 分布的随机变量可由以下表达式定义:
其中, 服从标准正态分布, 服从自由度为 的卡方分布,且两者相互独立。令 ,可得
这是正态模型下精确的有限样本结果。样本均值与样本方差相互独立是正态总体抽样所特有的性质,对任意总体一般并不成立。
t 分布关于零对称,尾部比标准正态分布更厚。这样的厚尾反映了一种可能性:某个样本对变异程度的估计异常偏小,从而使标准化统计量的绝对值异常偏大。对于显著性水平为 的双侧检验,自由度为 4 时,临界值约为 ;自由度为 10 时,约为 ;自由度为 100 时,约为 。对应的标准正态临界值约为 。因此,在小样本推断中,要拒绝同一个原假设,需要更大的标准化差异。
自由度表示可用于估计变异程度的独立信息量。在单样本问题中,各观测值相对于估计均值的偏差之和为零,因此只剩下 个可自由变化的残差分量。在更一般的模型中,自由度取决于所估计的参数个数以及方差估计量的结构。
对于非正态总体,上述精确推导不再适用。不过,对于方差有限且非零的总体,如果独立样本的样本量足够大,中心极限定理结合方差的一致估计,往往能使该统计量近似服从正态分布。这种大样本依据不同于精确的小样本 t 理论。它并不意味着,只要样本量达到某个特定数值,例如 30 个观测值,就可以不考虑偏斜程度、异常值或观测值之间的依赖关系,认为近似已经足够准确。
单样本检验与配对样本检验
单样本t检验用于检验有关总体均值的假设。对于原假设 ,其检验统计量为
在独立正态抽样的条件下,该统计量的自由度为 。分子是相对于假设均值的差异估计值,以原始测量单位表示。分母衡量这一差异的抽样不确定性。所得统计量是无量纲的,因此,将所有观测值从一种线性计量单位换算为另一种,不会改变检验结果。
例如,假设16个独立测量值的均值为 ,样本标准差为 ,而原假设指定总体均值为 。标准误为 ,得到 ,自由度为15。双侧P值约为 ,因此结果未达到预先设定的 显著性阈值。这并不能证明总体均值等于50;它表明,这次检验在该阈值下未能拒绝这一假设值。
假设值不一定为零。它可以是生产目标值、理论预测值,也可以是历史上设定的基准值。不过,通常的公式将该基准值视为已知且不含抽样误差。如果基准值本身也是由另一个存在不确定性的样本估计得到的,那么,同时考虑两个估计值的不确定性,通常就属于另一类统计问题。
配对样本t检验是对配对内差值进行的单样本t检验。对于配对观测 ,定义 。检验 时,使用
这里的 是配对数,而不是单个测量值的数量。精确的t推断要求各对之间的差值相互独立,且服从正态分布。它不要求每对中的两个测量值相互独立,也不要求二者具有相等的方差。
配对可以大幅改变估计精度,因为
其中,协方差衡量配对观测值共同变化的程度。正相关通常会减小差值的方差。例如,干预前后的测量值在不同个体之间可能差异很大,但同一个体前后的差异却小得多。独立样本检验未能利用这种配对信息,会为配对比较给出不恰当的标准误。
配对可以来自重复测量、受试者匹配,或双胞胎等具有天然联系的单位。配对关系必须源于研究设计,而不能通过任意排列观测值来确定。当每人有多次测量,或每组中有多个相互关联的观测值时,单次配对检验可能无法充分反映其依赖结构。干预前后的差值本身也不能单独识别干预效应:背景趋势、测量方式的变化以及均值回归都可能促成所观察到的变化。
独立样本的合并方差检验
经典的独立样本斯图登检验用于比较两个独立总体的均值,并假定这两个总体的方差相等。设第 组的样本量为 ,样本均值为 ,样本方差为 。对于原假设
共同方差的估计量为
检验统计量为
在原假设成立、样本独立地取自正态总体且总体方差相等的条件下,该统计量服从自由度为 的 t 分布。
合并方差时,以各样本方差对应的自由度为权重。每一组都提供了对同一个总体方差的估计,因此,合并残差平方和便利用了两组的信息。两个独立样本均值之差的方差为
这也解释了标准误公式的由来。由于分别估计了两个均值,自由度减少了两个。
例如,考虑两组样本,样本量分别为 10 和 12,样本均值分别为 15 和 12,样本标准差分别为 3 和 4。合并方差为
当原假设中的均值差为零时,标准误约为 ,检验统计量为 ,自由度为 20。双侧 p 值约为 。这一比较依据的是均值差相对于其不确定性的大小,而不只是均值差本身的数值。
方差相等的假设针对的是总体方差,并不要求观测到的样本方差完全相等。即使样本取自方差相同的总体,样本方差通常也会有所不同。反过来,观测到的方差相近,也不能证明总体方差相等,尤其是在小样本情况下。
当两组样本量相等时,合并方差法与韦尔奇法的标准误在代数上相同,但所用参考分布的自由度可能不同。两组样本量不等时,方差不相等的影响会更大。特别是当样本量较小的一组具有较大的方差时,合并方差可能低估均值差的不确定性,从而提高原假设成立时被拒绝的概率。相反的配置则可能使合并方差检验偏于保守。
先进行方差检验,再据此选择合并方差方法或不等方差方法,并不等同于一个能够保证名义错误率的单一检验。这一完整的决策规则两次使用了同一批数据。韦尔奇方法直接处理方差不等的情况,无须先进行这种选择。
Welch 不等方差检验
Welch t 检验用于比较两个独立总体的均值,不要求总体方差相等。其统计量为
各组的方差分别对均值差估计的不确定性作出贡献。该统计量的参考分布近似为 t 分布,其自由度由 Welch–Satterthwaite 公式给出:
这一自由度通常不是整数,但这在数学上并无困难,因为 t 分布对任意正实数自由度都有定义。
这一近似所处理的是各个独立估计的方差贡献之和的分布。在正态抽样下,每个样本方差都与一个卡方变量相关,但当总体方差不同时,它们的加权和通常不能表示为单个卡方变量乘以某个尺度系数。通过矩匹配,可以得到一个有效自由度值。因此,与满足自身假设的经典合并方差检验不同,即使总体服从正态分布,Welch 检验通常仍是近似检验。
两者的差别可能很大。假设 、、,且 。Welch 检验对均值差方差的估计为
由此得到的标准误约为 ,自由度约为 。相比之下,合并方差法得到的标准误约为 。样本量较小、变异较大的那一组限制了估计的精度;Welch 统计量的分母反映了这一限制,而不是将该组的方差与变异较小组中大量观测值所提供的方差信息合并平均。
在许多总体方差恰好相等的情形下,Welch 检验也表现良好。因此,不必只有在事先证实方差不等时才使用它。不过,仅有方差相等这一条件,并不能保证在每一个实际样本中,其有限样本参考分布都与合并方差统计量的参考分布完全相同。
去掉等方差假设,并不意味着去掉了所有假设。Welch 检验仍然针对独立样本和总体均值。它不会自动适用于重复测量、聚类观测、具有强影响力的离群值,或不具有有限方差的分布。在严重偏离正态分布的情况下,尤其是样本量较小的组呈高度偏态时,其小样本近似可能不够准确。因此,区分 Student 检验和 Welch 检验,只是选择合适抽样模型的一个环节,不能替代对研究设计和数据生成过程的考察。
假设、置信区间与解释
双侧t检验比较 与 ,其中 可以是均值、均值差或回归系数。单侧检验则指定一个方向,例如 。若作为参照的中心t分布的累积分布函数为 ,则双侧p值为
对于上尾检验,p值为 。不同方向的假设对应不同的拒绝域;在观察到估计值的正负之后才选择检验方向,无法维持名义上的单侧错误率。
p值是在零假设模型下计算的概率:它衡量在该模型和指定的检验程序下,出现至少与观测统计量同样极端的统计量的频率。它不是零假设为真的概率,不是观测差异“由偶然因素造成”的概率,也不是重复研究将会失败的概率。显著性水平 描述的是在相关假设成立时,检验程序预设的长期错误拒绝率,而不是某个特定假设的后验概率。
相应的双侧置信区间为
其中 是t分布的一个分位数。使用相同的模型和标准误时,显著性水平为 的双侧检验当且仅当 位于该区间之外时拒绝它。在模型成立的条件下,95%置信区间构造程序在重复抽样中得到的区间有95%会覆盖固定的总体参数。在频率学派的解释中,得到某个具体区间后,并不能说固定参数有95%的概率落在该区间内。
统计显著性与效应量回答的是不同的问题。如果估计非常精确,微小的差异也可能产生很大的t统计量;而在规模较小、噪声较大的样本中,即使估计出的差异很大,统计上也可能仍然无法得出明确结论。报告以原始单位表示的估计值及其区间,以及检验统计量、自由度和p值,有助于区分效应大小与不确定性。科恩d等标准化效应量可以方便某些比较,但其含义取决于所使用的标准差。
未能拒绝差异为零的假设,并不能证明等效。等效性检验为可视为足够小的差异设定下界和上界,并评估数据能否排除超出这些界限的效应。在常用的显著性水平为 的双单侧检验程序中,判定等效对应于90%双侧置信区间完全落在预先设定的界限之内。这与95%置信区间是否包含零是不同的问题,而且要求所设界限具有实际意义。
假设、稳健性与研究设计
t 检验所依赖的假设涉及观测值、抽样机制以及所选的方差估计量。其中,统计独立性尤为重要。来自同一参与者、家庭、班级、生产批次或其他群集的测量值,可能具有共同的变异来源。当群集内的关联为正时,将这些测量值视为相互独立的单位,通常会高估数据所包含的信息量。如果计算标准误时错误地认定了独立单位,增加测量次数也无法弥补这一问题。
例如,在一个基本的可交换模型下,若各群集大小相同,均包含 个观测值,且群集内任意两个观测值之间的相关关系均以同一相关系数 表示,则简单均值的方差膨胀因子为 。当每个群集包含 20 个观测值且 时,该因子为 2.9。因此,忽略群集结构的简单分析可能严重低估不确定性。考虑群集结构的回归、多层模型,或针对适当的群集汇总指标所做的分析,处理的是与普通独立观测 t 检验不同的方差结构。
经典的精确有限样本分布要求满足正态性,但轻微偏离正态分布并不一定会造成严重错误。稳健性取决于样本量、偏度、尾部特征、组间均衡程度,以及方差与样本量之间的关系。对称且适度偏离正态的分布,其表现可能与含有罕见极端值的高度偏斜分布大不相同。不存在一个通用的样本量阈值,能保证在所有这些情形下检验都有效。
离群值之所以重要,是因为算术均值和样本方差都对极端观测值敏感。一个异常值可能改变估计的效应,增大其标准误,也可能同时产生这两种影响。仅仅因为某个观测值会改变统计显著性就将其删除,会使分析受到数据本身的影响。数据变换也会改变推断的目标:对数变换后进行的 t 检验针对的是对数尺度上的均值,而将均值差反变换回原尺度后,所涉及的是几何均值之比,而非算术均值之差。
结合图形和专业领域知识进行检查,可以发现单一正态性检验未能揭示的特征。正态性检验结果不显著,并不能证明数据服从正态分布,在观测值较少时尤其如此;而在极大样本中,显著的检验结果可能只是检测到了对基于均值的推断几乎没有实际影响的偏离。对于配对检验,相关的是配对差值的分布,而不一定是任一测量变量的边缘分布。
抽样与分配方式决定了哪些结论可以推广到已观测数据之外。随机抽样为总体推断提供依据,而随机化分配则为实验设计中的处理比较提供依据。观察性数据中具有统计显著性的组间差异,可能反映的是混杂或选择机制,而非因果效应。观测值缺失以及组间不同的样本流失情况,也可能改变分析样本所代表的总体。这些问题属于因果推断和研究有效性的范畴;仅凭 t 统计量无法解决。
回归、相关与方差分析
t 检验是正态线性模型理论的一部分,而非一种孤立的均值比较方法。考虑模型
其中, 是一个固定的、列满秩的设计矩阵,共有 列。由普通最小二乘法可得
其中, 为残差平方和。检验 时,所用统计量为
误差的正态性以及同方差的协方差结构,使这一参照分布具有精确性。
若选用特定的设计矩阵,就能得到几种常见的检验。仅含截距项的回归等同于单样本 t 检验。包含截距项和二元组别指示变量的回归,对指示变量系数所作的检验等同于使用合并方差的独立样本 t 检验。配对比较则可以用一个包含各配对特有的截距项和共同条件效应的模型来表示。这些等价关系说明了为什么在假定的相依结构发生变化时,同一个差值估计会具有不同的标准误。
t 检验也对应于方差分析中自由度为 1 的检验。对于相同的线性假设和方差估计,有
F 统计量不保留效应估计值的正负号,因此其上尾 p 值等于双侧 t 检验的 p 值。比较多个组时,总体 F 检验考察的是涉及多个均值的联合假设,通常不能用单个 t 检验替代。
在含截距项的简单线性回归中,按照标准模型,检验斜率是否为零等价于检验总体皮尔逊相关系数是否为零。若 为样本相关系数,则当各对观测值均独立抽自同一二元正态分布时,在原假设下,
服从 分布。这一关系将线性关联的强度与由样本量决定的不确定性联系起来。
回归也揭示了机械套用 t 分布表的局限性。如果各观测值的误差方差不同,普通最小二乘法的标准误公式通常就不再适用。可以用异方差一致标准误或聚类稳健标准误替代,但此时统计量一般不再精确服从经典的 t 分布。于是,可以采用大样本正态近似,或经过专门调整的 t 参照分布。因此,报告一个“t 统计量”,仅表明它是标准化后的估计值,本身并不能证明其参照分布就是精确的学生 t 分布。
统计功效、多重性及相关方法
统计功效是指在某个特定备择假设为真时,拒绝指定原假设的概率。对于来自正态总体、真实均值为 的单样本检验,检验统计量服从自由度为 的非中心t分布,其非中心参数为
对于等方差独立样本检验,
统计功效取决于效应相对于总体变异的大小、样本量、显著性水平,以及拒绝域是单侧还是双侧。对于配对观测,相关的变异是配对差值的变异。
对于双侧单样本检验,一个实用的大样本近似公式为
其中,, 为目标功效, 为标准正态分布的分位数。当 、功效为 、 时,该公式给出的样本量约为32;基于t分布的精确计算则要求约34个观测值。对于两组样本量相等的设计,相应的近似公式需再乘以因子2,所得结果为每组所需的样本量。这些计算依赖于指定的备择假设和有关变异的假定,而非仅仅取决于期望得到的p值。
反复使用t检验会产生多重检验问题。如果对20个相互独立且均为真的原假设,分别以 的显著性水平进行检验,则至少发生一次错误拒绝的概率为
邦费罗尼校正等方法可控制在预先界定的一组检验中至少发生一次错误拒绝的概率;另一些方法则以控制错误发现率为目标。反复查看不断积累的数据,并在常规t检验首次达到显著性时停止,也会改变总体错误率,除非在分析中将这种监测程序考虑在内。
替代方法所回答的问题彼此相关,但并不总是相同。置换检验将观测到的统计量与通过允许的标签重排所生成的分布进行比较。其精确性取决于分配机制或可交换性条件。当总体分布的方差不同时,简单地交换标签并不能自动得到检验均值相等的精确检验。威尔科克森符号秩检验使用配对差值的秩,若要将其解释为位置参数检验,还需满足额外条件;同样,独立样本秩和检验也并非在所有情况下都是中位数检验。
自助采样方法通过对观测值或恰当定义的独立单位进行重采样来估计抽样特性。其表现仍取决于样本量、依赖结构和尾部特征。贝叶斯推断则将似然与先验假定相结合,以获得后验分布;在正态模型下采用某些特定先验时,后验区间在数值上可以与经典t区间一致,但两者的解释仍然不同。这些联系有助于区分统计目标(例如均值差)与用于量化其不确定性的推断框架。