似然比检验是一种统计假设检验方法,通过比较相互竞争的假设对观测数据的解释能力来进行检验。其核心量是似然函数之比:可以是两个完全确定的模型各自的似然值之比,更一般地,则是各自所能达到的最大似然值之比。如果引入备择假设能使拟合得到足够大的改善,就拒绝原假设。
似然比方法在统计学中占有核心地位,因为它将针对简单假设的最优性原理与一种广泛适用于嵌套统计模型比较的程序联系起来。常见的正态总体均值检验、回归分析中基于似然的检验,以及许多针对分类观测数据的分析,都以似然比方法为基础。不过,对这类方法的解释仍取决于统计模型,以及用于确定检验显著性的参照分布。常用的卡方近似虽然十分有效,却并非在所有情形下都适用,尤其是在参数位于边界、不可识别,或参数个数随样本量增加的情况下。
定义与统计框架
设 表示数据,其观测值为 ,数据由密度函数或概率质量函数为 的模型生成,其中 属于参数空间 。似然为
这里将数据视为固定值,而将似然视为参数的函数。对于满足统计独立性的观测,似然通常是各观测对应的密度或概率的乘积。观测之间存在依赖关系并不妨碍使用似然比检验,但必须在联合模型中体现这种依赖关系。
假设原假设将参数限制在 内。广义似然比定义为
分母是在包含原假设模型在内的完整模型上进行优化,而不是仅在原假设之外的参数值上进行优化。因此,只要该比值有定义,就有 。较小的比值表明,施加原假设的限制后,所能达到的最优似然值显著降低。采用上确界,可以使这一定义也适用于似然能够无限趋近最大值、却无法实际取到最大值的模型。
通常使用的检验统计量为
的值越大,越不利于原假设。系数 2 虽然是一种惯例,却很重要:在满足正则条件的大样本情形下,它使统计量的极限分布为卡方分布。有些文献则将备择假设相对于原假设的似然比称为似然比统计量;按照这种约定,应在比值较大而非较小时拒绝原假设。
要构成一项检验,仅有这种对观测结果的排序还不够。还必须选择临界值 ,以控制检验的显著性水平:
这为整个原假设参数空间内发生第一类错误的概率设定了上界。当统计量为离散型时,如果不引入随机化,可能无法使上式恰好取等号。相关的抽样分布可以通过解析方法求得,也可以通过渐近方法近似,或通过模拟估计。
似然中仅依赖观测值而不依赖参数的因子不会影响这一比值。它在一一对应的重新参数化下也保持不变:例如,用正尺度参数的对数来表示该参数,不会改变分子和分母各自的最大化似然值。这些性质表明,似然比比较的是模型的拟合程度,而不是参数所取数值的大小。
简单假设与奈曼–皮尔逊原理
当一个假设指定唯一的概率分布时,就称其为简单假设。考虑
适当的排序依据为
奈曼–皮尔逊引理指出,在所有当 成立时拒绝概率不超过 的检验中,当 足够大时拒绝原假设的检验,对 具有最大的统计功效。这里,功效是指数据由备择分布生成时拒绝原假设的概率。为了使检验水平恰好达到所需数值,可能需要在阈值处进行随机化。
其论证将似然比检验 与任意其他检验 进行比较,其中检验函数的取值介于零和一之间。若 在 时拒绝原假设,在 时接受原假设,并在两者相等时作适当选择,则有
积分可得
当似然比检验的水平为 ,而另一检验的大小不超过它时,右端非负。因此,似然比将有限的错误拒绝概率分配给那些最有力地支持指定备择假设的观测结果。
例如,设 为相互独立的正态观测值,方差 已知。比较 与 时,有
该式随样本均值 增大而增大,因此最有力检验在样本均值较大时拒绝原假设。对每个固定的 ,同一个拒绝域都是最优的,因而得到针对这一单侧复合备择假设的一致最有力检验。对于双侧备择假设,类似的一致最优性通常并不成立。
耶日·奈曼和埃贡·皮尔逊在1933年关于统计假设有效检验的研究中建立了这一框架。该框架以错误概率和功效为基础,将假设检验形式化,与罗纳德·费希尔所倡导的基于似然的估计研究并行发展。这一最优性结论专门适用于简单假设,或同一排序始终保持最优的特殊复合假设族。它并未证明每一种广义似然比检验都是最有力检验。不同的备择假设可能各自对应不同的最优拒绝域,因此可能不存在普遍适用的最优检验。
复合假设、干扰参数与剖面化
大多数科学模型都包含不止一个未知参数。例如,检验可能针对某个回归系数,而方差和其他系数则未作限定。记 ,其中 是感兴趣的参数, 是干扰参数。检验 时,需要在两个假设下分别对 求最大值:
受约束条件下得到的干扰参数估计,通常不同于无约束拟合中的估计。在施加原假设约束时,若将干扰参数固定为其无约束估计值,通常得到的就不是似然比检验。
剖面似然定义为
它表示在感兴趣参数的每个固定取值下,所能达到的最佳拟合程度。若 是使其达到最大值的参数值,则
剖面化是一种优化运算,而不是求平均的运算。特别是,它不同于贝叶斯推断中按照某个概率分布对干扰参数进行积分的做法。
一个典型例子是正态位置—尺度模型,
其中两个参数均未知。在 下,方差的最大似然估计为
在无约束模型下,
这两个方差估计之所以不同,是因为原假设所指定的均值若偏离样本均值,就会增大残差平方和。如果在两次最大化中代入同一个方差估计,就会漏掉这一调整。
更一般地,嵌套假设可以写成光滑约束 。如果 施加了 个局部独立的约束,那么在真实参数附近,原假设模型的有效参数个数就少了 个。约束的个数取决于约束函数导数的秩,而不只是写出的方程个数。冗余方程不会增加新的约束。
尽管剖面化使统计量的表达式中不再显式出现干扰参数,却不一定能消除其零分布对干扰参数的依赖。有些模型具有不依赖干扰参数的精确分布;另一些模型则需要大样本近似,或采用考虑干扰参数不确定性的校准方法。广义似然比为反对原假设的证据强弱提供了排序,但其本身并不能解决如何获得在整个复合原假设下均有效的参考分布这一问题。
威尔克斯定理与似然函数的局部几何
最广为人知的校准依据是塞缪尔·S. 威尔克斯于1938年确立的威尔克斯定理。在正则的有限维模型中,若无约束参数空间的维数为 ,原假设模型的维数为 ,则在原假设成立时,
因此,可以利用卡方分布求得近似临界值和P值。参数维数之差 是该检验极限分布的自由度,并非相关回归公式中所用的残差自由度。
正则性要求并不只是样本量足够大。典型假设包括:模型具有统计可识别性,对数似然函数具有充分的可微性,费希尔信息有限且非奇异,最大似然估计具有一致性,以及真实参数位于适当的内部邻域中。原假设的约束必须在局部定义一个光滑的低维模型。依赖于参数的支撑集、奇异的信息矩阵或边界,都可能使标准结论失效。
其机制在于局部二次近似。对于独立同分布的观测,用 表示单次观测所含的信息。在适当条件下,
其中, 依分布收敛于均值为零、协方差矩阵为 的多元正态随机向量。随机线性项受中心极限定理支配,而曲率则受大数定律支配。分别在完整的局部参数空间和原假设子空间上最大化这个二次函数,便会得到两个长度平方之差。
用信息矩阵进行尺度变换后,这一差值就是正态随机向量在原假设模型的切空间正交补上的分量的长度平方。这样的独立标准正态分量共有 个,这就解释了为何会得到卡方分布。这种几何解释也说明了为什么奇异或不光滑的原假设集合可能产生不同的分布:此时,约束最大化所针对的对象不再是线性子空间。
对于一个正则的标量约束,5%显著性水平下的近似临界值为 ;对于两个约束,该值为 。这些数值对应的是极限分布,并非普遍适用的有限样本阈值。近似的准确程度不仅取决于样本量,还取决于信息量、模型曲率、离散性以及参数的位置。
在以 的速率趋近原假设的备择假设下,该统计量通常具有非中心卡方极限分布。若 的局部偏移为 ,则其非中心参数为
其中, 是考虑干扰参数后关于 的信息。这一结果刻画了局部功效,并将效应的可检测性与效应大小及模型提供的精度联系起来。
精确检验示例:正态模型与二项模型
正态总体均值的检验问题表明,似然比检验可以得到与熟知的精确检验相同的结果。当方差未知且 时,定义
检验 ,并以均值不受限制的模型作为备择假设时,
因此, 随 严格递增。由于在原假设下, 服从自由度为 的学生t分布,精确的双侧似然比检验与普通的双侧 检验完全相同。若改用卡方近似,就等于舍弃了本可使用的精确分布。
线性回归的正态模型中也有类似结果。设完整模型的设计矩阵秩为 (若有截距项,也计入其中),简化模型则施加了 个独立约束。若两者的残差平方和分别为 和 ,则
该统计量是下式的严格递增函数:
当误差相互独立、服从正态分布且具有相同方差时,该统计量精确服从自由度为 和 的 分布。因此,精确似然比检验的拒绝域与方差分析中常用的偏 检验的拒绝域一致。
作为离散情形的例子,假设 服从参数为 和 的二项分布,检验 ,其中 。无约束估计为 ,由此得到
形如 的项按连续延拓定义为零。当 、、 时,该统计量约为 。采用自由度为 1 的卡方近似,得到的 p 值约为 。
相比之下,精确似然比 p 值的计算方法是:对所有似然比统计量不小于观测值的计数,求其二项概率之和。在这个对称的例子中,精确 p 值约为 。两者的差异说明,离散性会影响常用显著性水平下的检验结论。当原假设下的概率不对称时,精确似然比所给出的排序未必与双侧精确二项检验的其他定义一致;仅凭“双侧”一词,并不能唯一确定离散情形下用于构造拒绝域的排序。
分类数据与回归中的偏差
在分类数据分析中,似然比统计量常称为偏差或 统计量。假设 个观测值分属 个类别,观测频数为 。在类别概率为 的多项分布模型下,略去仅与数据有关的项后,对数似然为
无约束拟合(即饱和拟合)取 。若原假设下拟合得到的期望频数为 ,则似然比统计量为
当期望频数为正时,观测频数为零的项对统计量的贡献为零。反之,若某一类别的观测频数为正,而原假设赋予该类别的概率为零,则原假设下的似然为零。
对于一个 列联表,独立性原假设给出
饱和多项分布模型有 个自由概率参数,而独立性模型有 个自由参数。两者的维数之差为 ,即通常采用的渐近自由度。即使考察的是同一个关联性假设,固定边际总数的抽样或其他抽样设计,也可能需要采用不同的精确分布来校准检验。
与之相关的皮尔逊统计量为
它可由似然差异的二次近似得到。在维数固定的标准条件下, 和 具有相同的极限卡方分布。在稀疏列联表中,两者可能相差很大,而且两种近似都不一定准确。结构性零也会改变模型的维数,因此不能仅从原公式中删去零项,而不作其他调整。
从似然的角度可以将偏差与 KL散度联系起来。对于经验比例 ,有
因此,该统计量衡量的是经验分布与原假设下拟合分布之间的差异。这一解释直接源于多项分布的似然,无须将该统计量视为一般意义上的距离。
在广义线性模型中,偏差用于比较拟合模型与饱和模型;后者在响应分布族允许的范围内,尽可能贴合每个观测值。对于服从泊松分布的响应变量,偏差为
对于嵌套的泊松模型,两者的偏差之差就是其似然比统计量。类似的构造也适用于二项逻辑回归。对于带有额外离散参数的分布族,在比较似然时还必须纳入对离散参数的处理。此外,与饱和模型的比较可能涉及随样本量增长的参数个数,因此,用于绝对拟合优度偏差的卡方近似,不能直接沿用两个固定维数嵌套模型比较时的论证,而需要另行论证。
与其他检验及基于似然的区间的联系
似然比检验、瓦尔德检验和得分检验是检验光滑参数约束的三种主要似然方法。它们利用了对数似然的不同方面。似然比检验比较有约束与无约束情形下最大值的高低。瓦尔德检验以估计的不确定性为尺度,衡量无约束估计值偏离原假设的程度。得分检验则考察:在有约束拟合处的似然斜率是否过大,以至于在原假设下难以合理地出现。
对于原假设值为 的标量参数,其示意形式为
其中, 为对数似然的导数, 为样本信息量。存在干扰参数时,必须对得分和信息量进行调整,以计入估计这些参数的影响。在满足正则条件的大样本下,这三个统计量具有相同的一阶卡方极限分布和相同的局部功效。在有限样本中,似然的不对称性和不稳定的曲率估计可能导致它们得出不同结论。
似然比统计量在光滑的一一重参数化下具有严格的不变性。瓦尔德近似通常不具备这一性质:对于一个取正值的参数,围绕其估计值对称的区间,经过对数变换后,不一定等于在对数尺度上计算得到的瓦尔德区间。得分检验往往只需要在原假设下拟合模型,因此在完整模型估计成本高昂时很有用。似然比检验通常需要进行两种拟合,但它利用的是两者完整的最优化似然值,而不只是局部斜率或曲率。
通过反演检验,可以构造置信区间或置信域。对于所关注的标量参数 ,近似的 百分比剖面似然置信集为
区间端点可能并不关于估计值对称,这反映了剖面似然的形状。如果能够对检验进行精确校准,也可以用同样的方式反演检验。覆盖率的解释针对的是重复抽样,而不是固定参数落在已观测到的区间内的后验概率。
似然比检验也不同于贝叶斯模型比较。贝叶斯因子比较的是边际似然,即在各模型的先验分布上对似然进行积分。广义似然比则对似然取最大值。积分与最大化处理参数不确定性和模型灵活性的方式不同,因此由此得到的数值不能互换使用。
最后,由似然比统计量得到的 p 值并不是原假设为真的概率。拒绝原假设也不能证明备择模型拟合充分、具有科学意义,或在因果关系上正确。它所表明的是,在模型假设和校准方法所能支持的范围内,数据与被检验的约束不相容。
边界、奇异性与标准校准方法的失效
一个简单的边界问题可以说明,为什么威尔克斯定理要求真实参数位于参数空间内部。假设
其中方差已知,检验 ,备择假设为 。在允许的参数空间内,不施加原假设约束时的估计为 。因此,
在原假设下,标准化样本均值恰好服从标准正态分布。因此,该统计量的分布为
其中, 表示集中在零点的概率质量。一半的样本相对于原假设不会带来任何似然改善,因为它们的无约束样本均值落在允许的参数空间之外。
赫尔曼·切尔诺夫于1954年发表的研究,为边界情形下的似然比渐近理论奠定了重要基础。在更复杂的不等式约束问题中,极限分布可能是卡方分布的混合,通常称为卡方杠分布(chi-bar-squared distribution)。混合权重取决于约束的几何结构以及信息矩阵中的相关结构。因此,权重各为二分之一的混合分布只是某些单边界情形的特征,并非普遍适用的修正方法。
方差分量检验会遇到这一问题,因为方差不能为负。检验随机效应方差是否为零,就使原假设落在参数空间的边界上。边界问题还可能伴随其他复杂情况,尤其是在协方差参数变得不可识别时。正确的分布取决于模型的完整设定;仅计算新增方差参数的个数,再套用普通卡方分布,可能并不成立。
在高斯混合模型等有限混合模型中,会出现更严重的失效情形。当某个分量的混合权重为零时,该分量的均值和方差不会影响观测分布,因而不可识别。信息矩阵可能变为奇异矩阵;而在各分量具有各自方差、且未施加约束的正态混合模型中,当某个分量收缩到单个观测值上时,似然还可能变得无界。不能仅仅因为一个模型在形式上写出了更多参数,就认为标准似然比渐近理论适用于这样的模型比较。
分布的支撑集依赖于参数时,也会出现例外。对于相互独立的 ,其中 ,最大似然估计为样本最大值 。对于与 相容的观测,双侧似然比统计量为
在原假设下, 在 上服从均匀分布,因此 恰好服从自由度为2的卡方分布,而不是简单按参数个数推断出的自由度为1的卡方分布。
当原假设下不存在未知变点位置参数、通过搜索从许多可能的位置中选取最大的统计量,或模型维数随样本量增长时,还会出现其他困难。在模型设定错误的情况下,得分向量的协方差矩阵不一定等于似然曲率的期望,通常的统计量也不一定收敛于标准卡方分布。每一种情形都需要采用能够反映其实际几何结构和抽样结构的参照分布理论。
计算、模拟与有限样本改进
实际进行似然比检验,首先要解决两个最大似然估计问题。两者必须采用相同的观测数据、似然定义以及干扰参数处理方式。对于确实具有嵌套关系、且最大值有限并可达到的模型,无约束模型优化后的对数似然值不可能小于受约束模型的相应值。因此,计算出的统计量若为负值,通常意味着存在数值误差、优化不充分,或者所比较的模型实际上并不具有嵌套关系。
相较于将许多很小的概率相乘,使用对数似然更为合适,因为它能减少数值下溢,并将乘积转化为求和。如果与参数无关的常数项在两个模型之间能够完全抵消,就可以将其省略。但对于不同的似然表达形式,不能以不一致的方式舍弃常数项。同样,基于不同观测子集构造的似然,也不会仅仅因为将软件报告的对数似然值相减就变得可以比较。
对于潜变量模型和多峰模型,优化质量尤其重要。不同的初始值可能使算法收敛到不同的局部最优点;算法给出收敛提示,并不能证明已经找到全局最大值。两次拟合中的约束、梯度和参数变换必须对应于同一个统计参数空间。正则化惩罚会改变目标函数:惩罚后目标函数值之差,并不自动等同于服从通常参考分布的普通似然比统计量。
当无法通过解析方法确定参考分布时,可以采用参数化的自助采样来近似零假设下的分布。首先拟合零假设模型,得到 ;然后从拟合后的模型中生成新数据集;再对每个模拟数据集重新拟合两个模型。若得到的统计量为 ,则尾概率可估计为
这种加一的约定可以避免报告零值的模拟 p 值。当零假设完全指定时,可交换性为相应的蒙特卡洛检验构造提供了依据。如果干扰参数需要通过拟合估计,这一程序通常只是近似方法,而不会自动成为精确检验。
模拟误差与统计近似误差仍是两回事。当尾概率接近 时, 次独立模拟给出的二项分布标准误约为 。这一数值并不衡量反复发生的拟合失败,也不反映用代入估计近似处理干扰参数不确定性所造成的偏差。对于稀疏的离散问题,也可能可以直接枚举;而在某些设计中,则可以通过对充分统计量取条件分布来消除干扰参数。
一种经典的解析改进方法是巴特利特校正,由莫里斯·巴特利特于1937年提出。在适当的正则模型中,若零假设下的期望具有如下展开式:
则采用如下形式的尺度调整:
可以使统计量的均值更接近卡方分布的均值,并改善高阶分布近似的准确性。该系数取决于模型,也可能涉及干扰参数。此类改进以相应的正则渐近理论框架成立为前提;它们无法解决参数不可识别、似然无界或概率模型错误等问题。