在统计学中,过度离散是指观测值的变异程度大于指定统计模型所预测的程度。当模型通过期望值约束方差时,例如泊松模型和二项模型,过度离散尤为重要。因此,过度离散是相对于参考模型而言的,并非数据集的固有性质:在一个模型下显得过大的变异,可能在另一个模型下得到充分解释。
定义与参考模型
假设某个模型为观测值 指定了期望响应 和方差 。一种常见的扩展方式是引入离散参数 :
在这一表述中, 表示参考方差, 表示过度离散, 表示欠离散。并非所有模型都通过一个常数乘子来表示离散程度;有些模型允许超额方差随均值变化。
两个重要的参考模型是:
例如,在可比的计数区间内,若期望计数为 10、方差为 30,则相对于泊松模型存在过度离散。这并不意味着每个计数值都异常偏大;超额方差既可能涉及偏低的计数,也可能涉及偶尔出现的高计数。
条件变异与边际变异
在回归分析中,通常需要在给定解释变量的条件下进行比较:
原始样本方差大于样本均值,本身并不能证明泊松回归中存在过度离散。由于暴露量、总体规模或测得的特征不同,各观测值的期望计数可能不同。即使每个条件泊松模型都是正确的,将这些观测值合并也会产生额外的变异。
这一区别也意味着,拟合适当的均值模型后,过度离散可能消失;也可能因相关的异质性仍未被观测到而继续存在。
过度离散的来源
过度离散是一种统计特征,并不对应唯一的数据生成机制。
未观测到的异质性
不同个体、地点或观测时期的潜在事件发生率可能不同。即使在给定各自发生率的条件下,计数服从泊松分布,将不同发生率下的计数混合起来也会产生超泊松变异。
设 为非负的随机发生率,并假设
利用条件期望表示的全方差公式可得
由于 ,只要发生率的方差为正,就会产生边际过度离散。
依赖与聚集
二项模型假定各次试验具有统计独立性,且成功概率相同。如果组内结果呈正相关,它们的总和就会具有比二项模型所预测的更大的方差。
对于 个可交换的二元结果,若成功概率为 ,任意两者之间共同的相关关系以相关系数 表示,则
因此,组内正相关会增大方差。重复测量、空间聚集的观测以及时间序列中也会出现类似效应。
观测值之间存在依赖,并不等同于各观测值相互独立但各自方差更大。仅用一个标量调整离散程度,通常无法表示完整的依赖结构。
均值与观测过程的误设
表观的过度离散可能源于遗漏预测变量、函数形式不恰当、缺少交互作用,或未考虑暴露量。例如,对持续时间不等的观测时期所得计数,需要进行适当的暴露量调整。
其他可能的来源包括:
- 不同总体的混合;
- 事件的聚集或突发;
- 由单独的过程生成部分零值结果;
- 记录错误或影响异常大的观测值。
不同机制可能产生相似的方差模式,因此仅凭过度离散无法确定其成因。
过度离散数据的模型
负二项模型
负二项分布是一种广泛使用的泊松分布替代方案。一种常见的均值—方差参数化形式为
当泊松发生率服从伽马分布时,就会得到这一分布。参数 控制异质性;当 趋近于零时,其极限情形为泊松分布。
在负二项回归中,均值可以采用与泊松回归相同的对数连接结构:
其中, 是已知的暴露量, 是偏置项。
负二项分布有不同的参数化方式。上述二次方差形式通常称为 NB2;另一种通常称为 NB1 的形式,其方差与均值成正比,例如 。因此,与单独给出模型名称相比,方差公式能提供更多信息。
拟似然模型
在广义线性模型框架内,拟似然方法规定均值与方差之间的关系,而不指定完整的响应分布。
拟泊松模型采用
在均值模型和观测权重相同的情况下,其系数估计方程与泊松回归相同,但系数方差估计值要乘以估计的离散参数。
拟泊松模型与负二项模型不能互换。它们的方差函数通常会赋予各观测值不同的相对权重,因此系数估计可能不同。此外,仅有拟似然设定本身,并不能给出各个结果的概率或完整的预测分布。
贝塔—二项模型
对于分组二元结果,贝塔—二项分布允许成功概率在组间变化:
这里的混合分布是贝塔分布。记
则有
该模型通过组层面概率的异质性表示超二项变异;等价地说,它在共享同一概率的试验之间引入了正依赖。
多层模型与零膨胀模型
混合效应模型显式表示组间或观测单位之间的变异。这类模型可以区分组内变异与组间变异,并对重复观测之间的依赖关系建模。
零膨胀模型则将一个始终产生零值的成分与普通计数分布相结合。对于结构性零值概率为 、泊松成分均值为 的零膨胀泊松模型,
当 且 时,方差大于均值。不过,大量零值本身并不能证明存在独立的零值生成过程:普通的过度离散计数分布也可能预测出远多于泊松分布的零值。
检测与评估
对于已拟合的广义线性模型中的独立观测,一种常见的诊断指标是皮尔逊离散参数估计量:
这里, 为观测数, 为拟合的均值参数个数, 为残差自由度。该值明显大于 1,提示变异程度高于参考模型的预测。
这一比值并不是通用的检验方法。其表现取决于样本量、拟合均值、杠杆值、参数估计以及所假定的独立性结构。稀疏计数和较小的二项试验次数可能使简单的大样本近似不可靠。残差偏差除以残差自由度是另一种诊断指标,但它通常并不等同于皮尔逊估计量。
评估还可以包括:
- 绘制残差相对于拟合值、预测变量、时间及组别的图;
- 检查暴露量调整和拟合的均值结构;
- 将观测到的零值及尾部与模型生成的数据进行比较;
- 在拟合模型下开展基于模拟的检验;
- 在贝叶斯分析中进行后验预测检验。
正式检验可以比较泊松模型与负二项模型,或评估额外的方差分量。当不存在过度离散的情形位于参数空间边界上时,使用标准的统计假设检验近似需要谨慎。在相关假设适当时,参数自助采样可以提供一种基于模型的替代方法。
对推断的影响
忽略额外变异时,基于模型的标准误往往偏小,置信区间过窄,显著性检验也过于宽松。预测还可能为极端观测值分配过低的概率。
在简单的乘性离散模型中,标准误大约增大为原来的
例如, 对应的标准误约为采用未经调整的参考方差时的两倍。
过度离散并不必然意味着回归系数有偏。在均值模型适当且满足相应正则条件时,即使方差设定错误,泊松估计方程仍可给出一致估计。错误的均值结构或未建模的依赖关系可能引发其他问题,而这些问题无法通过重新缩放方差来解决。
协方差矩阵的稳健夹心估计,可以使某些系数推断免受方差误设的影响。聚集观测需要采用考虑聚集结构的方法;普通的观测层面稳健标准误并不会自动做到这一点。稳健的不确定性估计也不能为预测提供正确的结果分布。
重要限制
单个二元响应服从伯努利分布,其方差必然为 。对于均值固定的单个二元观测,不存在单独的边际过度离散参数。超二项变异需要通过分组试验、重复观测、依赖关系或额外的模型结构才能识别。因此,与分组二项计数相比,对普通的未分组逻辑回归应用离散程度修正,需要更充分的理由。
过度离散也不同于偏度、重尾和零值频率高。这些特征可能伴随过度离散出现,但并不是其定义。过度离散也不意味着负二项模型必然适用:即使方差匹配,均值、依赖结构、零值频率或尾部仍可能存在系统性误差。