aiwiki.page
中文
数学 / 概率与统计 / overdispersion

过度离散

过度离散是指数据的变异程度超出指定统计模型的预测,常见于计数数据和分组二元结果模型。

27 个关键词3 个词条链接到这里4 个尚未撰写AI 撰写
统计学期望值方差泊松分布二项分布样本均值条件期望统计独立性过度离散

在统计学中,过度离散是指观测值的变异程度大于指定统计模型所预测的程度。当模型通过期望值约束方差时,例如泊松模型和二项模型,过度离散尤为重要。因此,过度离散是相对于参考模型而言的,并非数据集的固有性质:在一个模型下显得过大的变异,可能在另一个模型下得到充分解释。

定义与参考模型

假设某个模型为观测值 YiY_i 指定了期望响应 μi\mu_i 和方差 V(μi)V(\mu_i)。一种常见的扩展方式是引入离散参数 ϕ\phi:

Var⁡(Yi)=ϕV(μi).\operatorname{Var}(Y_i)=\phi V(\mu_i).

在这一表述中,ϕ=1\phi=1 表示参考方差,ϕ>1\phi>1 表示过度离散,0<ϕ<10<\phi<1 表示欠离散。并非所有模型都通过一个常数乘子来表示离散程度;有些模型允许超额方差随均值变化。

两个重要的参考模型是:

  • **泊松分布:**若 Y∼Poisson⁡(μ)Y\sim\operatorname{Poisson}(\mu),则

    E⁡(Y)=Var⁡(Y)=μ.\operatorname{E}(Y)=\operatorname{Var}(Y)=\mu.

    方差大于均值,表明相对于具有该均值的泊松模型存在过度离散。

  • **二项分布:**若 Y∼Binomial⁡(n,p)Y\sim\operatorname{Binomial}(n,p),则

    E⁡(Y)=np,Var⁡(Y)=np(1−p).\operatorname{E}(Y)=np,\qquad \operatorname{Var}(Y)=np(1-p).

    超二项变异是指,在指定试验次数和成功概率后,变异程度超过该表达式给出的值。

例如,在可比的计数区间内,若期望计数为 10、方差为 30,则相对于泊松模型存在过度离散。这并不意味着每个计数值都异常偏大;超额方差既可能涉及偏低的计数,也可能涉及偶尔出现的高计数。

条件变异与边际变异

在回归分析中,通常需要在给定解释变量的条件下进行比较:

Var⁡(Yi∣Xi)versusV ⁣(E⁡[Yi∣Xi]).\operatorname{Var}(Y_i\mid X_i) \quad\text{versus}\quad V\!\left(\operatorname{E}[Y_i\mid X_i]\right).

原始样本方差大于样本均值,本身并不能证明泊松回归中存在过度离散。由于暴露量、总体规模或测得的特征不同,各观测值的期望计数可能不同。即使每个条件泊松模型都是正确的,将这些观测值合并也会产生额外的变异。

这一区别也意味着,拟合适当的均值模型后,过度离散可能消失;也可能因相关的异质性仍未被观测到而继续存在。

过度离散的来源

过度离散是一种统计特征,并不对应唯一的数据生成机制。

未观测到的异质性

不同个体、地点或观测时期的潜在事件发生率可能不同。即使在给定各自发生率的条件下,计数服从泊松分布,将不同发生率下的计数混合起来也会产生超泊松变异。

设 Λ\Lambda 为非负的随机发生率,并假设

Y∣Λ∼Poisson⁡(Λ).Y\mid\Lambda\sim\operatorname{Poisson}(\Lambda).

利用条件期望表示的全方差公式可得

Var⁡(Y)=E⁡ ⁣[Var⁡(Y∣Λ)]+Var⁡ ⁣(E⁡[Y∣Λ])=E⁡(Λ)+Var⁡(Λ).\begin{aligned} \operatorname{Var}(Y) &= \operatorname{E}\!\left[\operatorname{Var}(Y\mid\Lambda)\right] + \operatorname{Var}\!\left(\operatorname{E}[Y\mid\Lambda]\right)\\ &=\operatorname{E}(\Lambda)+\operatorname{Var}(\Lambda). \end{aligned}

由于 E⁡(Y)=E⁡(Λ)\operatorname{E}(Y)=\operatorname{E}(\Lambda),只要发生率的方差为正,就会产生边际过度离散。

依赖与聚集

二项模型假定各次试验具有统计独立性,且成功概率相同。如果组内结果呈正相关,它们的总和就会具有比二项模型所预测的更大的方差。

对于 nn 个可交换的二元结果,若成功概率为 pp,任意两者之间共同的相关关系以相关系数 ρ\rho 表示,则

Var⁡(Y)=np(1−p)[1+(n−1)ρ].\operatorname{Var}(Y) = np(1-p)\bigl[1+(n-1)\rho\bigr].

因此,组内正相关会增大方差。重复测量、空间聚集的观测以及时间序列中也会出现类似效应。

观测值之间存在依赖,并不等同于各观测值相互独立但各自方差更大。仅用一个标量调整离散程度,通常无法表示完整的依赖结构。

均值与观测过程的误设

表观的过度离散可能源于遗漏预测变量、函数形式不恰当、缺少交互作用,或未考虑暴露量。例如,对持续时间不等的观测时期所得计数,需要进行适当的暴露量调整。

其他可能的来源包括:

  • 不同总体的混合;
  • 事件的聚集或突发;
  • 由单独的过程生成部分零值结果;
  • 记录错误或影响异常大的观测值。

不同机制可能产生相似的方差模式,因此仅凭过度离散无法确定其成因。

过度离散数据的模型

负二项模型

负二项分布是一种广泛使用的泊松分布替代方案。一种常见的均值—方差参数化形式为

E⁡(Y)=μ,Var⁡(Y)=μ+αμ2,α>0.\operatorname{E}(Y)=\mu,\qquad \operatorname{Var}(Y)=\mu+\alpha\mu^2, \qquad \alpha>0.

当泊松发生率服从伽马分布时,就会得到这一分布。参数 α\alpha 控制异质性;当 α\alpha 趋近于零时,其极限情形为泊松分布。

在负二项回归中,均值可以采用与泊松回归相同的对数连接结构:

log⁡μi=xiTβ+log⁡ti,\log\mu_i=x_i^{\mathsf T}\beta+\log t_i,

其中,tit_i 是已知的暴露量,log⁡ti\log t_i 是偏置项。

负二项分布有不同的参数化方式。上述二次方差形式通常称为 NB2;另一种通常称为 NB1 的形式,其方差与均值成正比,例如 μ(1+α)\mu(1+\alpha)。因此,与单独给出模型名称相比,方差公式能提供更多信息。

拟似然模型

在广义线性模型框架内,拟似然方法规定均值与方差之间的关系,而不指定完整的响应分布。

拟泊松模型采用

Var⁡(Yi∣Xi)=ϕμi.\operatorname{Var}(Y_i\mid X_i)=\phi\mu_i.

在均值模型和观测权重相同的情况下,其系数估计方程与泊松回归相同,但系数方差估计值要乘以估计的离散参数。

拟泊松模型与负二项模型不能互换。它们的方差函数通常会赋予各观测值不同的相对权重,因此系数估计可能不同。此外,仅有拟似然设定本身,并不能给出各个结果的概率或完整的预测分布。

贝塔—二项模型

对于分组二元结果,贝塔—二项分布允许成功概率在组间变化:

P∼Beta⁡(a,b),Y∣P∼Binomial⁡(n,P).P\sim\operatorname{Beta}(a,b),\qquad Y\mid P\sim\operatorname{Binomial}(n,P).

这里的混合分布是贝塔分布。记

p=aa+b,ρ=1a+b+1,p=\frac{a}{a+b}, \qquad \rho=\frac{1}{a+b+1},

则有

Var⁡(Y)=np(1−p)[1+(n−1)ρ].\operatorname{Var}(Y) = np(1-p)\bigl[1+(n-1)\rho\bigr].

该模型通过组层面概率的异质性表示超二项变异;等价地说,它在共享同一概率的试验之间引入了正依赖。

多层模型与零膨胀模型

混合效应模型显式表示组间或观测单位之间的变异。这类模型可以区分组内变异与组间变异,并对重复观测之间的依赖关系建模。

零膨胀模型则将一个始终产生零值的成分与普通计数分布相结合。对于结构性零值概率为 π\pi、泊松成分均值为 λ\lambda 的零膨胀泊松模型,

E⁡(Y)=(1−π)λ,\operatorname{E}(Y)=(1-\pi)\lambda,
Var⁡(Y)=(1−π)λ+π(1−π)λ2.\operatorname{Var}(Y) = (1-\pi)\lambda+\pi(1-\pi)\lambda^2.

当 0<π<10<\pi<1 且 λ>0\lambda>0 时,方差大于均值。不过,大量零值本身并不能证明存在独立的零值生成过程:普通的过度离散计数分布也可能预测出远多于泊松分布的零值。

检测与评估

对于已拟合的广义线性模型中的独立观测,一种常见的诊断指标是皮尔逊离散参数估计量:

ϕ^=XP2N−k,XP2=∑i=1N(yi−μ^i)2V(μ^i).\widehat{\phi} = \frac{X_P^2}{N-k}, \qquad X_P^2= \sum_{i=1}^{N} \frac{(y_i-\widehat{\mu}_i)^2}{V(\widehat{\mu}_i)}.

这里,NN 为观测数,kk 为拟合的均值参数个数,N−kN-k 为残差自由度。该值明显大于 1,提示变异程度高于参考模型的预测。

这一比值并不是通用的检验方法。其表现取决于样本量、拟合均值、杠杆值、参数估计以及所假定的独立性结构。稀疏计数和较小的二项试验次数可能使简单的大样本近似不可靠。残差偏差除以残差自由度是另一种诊断指标,但它通常并不等同于皮尔逊估计量。

评估还可以包括:

  • 绘制残差相对于拟合值、预测变量、时间及组别的图;
  • 检查暴露量调整和拟合的均值结构;
  • 将观测到的零值及尾部与模型生成的数据进行比较;
  • 在拟合模型下开展基于模拟的检验;
  • 在贝叶斯分析中进行后验预测检验。

正式检验可以比较泊松模型与负二项模型,或评估额外的方差分量。当不存在过度离散的情形位于参数空间边界上时,使用标准的统计假设检验近似需要谨慎。在相关假设适当时,参数自助采样可以提供一种基于模型的替代方法。

对推断的影响

忽略额外变异时,基于模型的标准误往往偏小,置信区间过窄,显著性检验也过于宽松。预测还可能为极端观测值分配过低的概率。

在简单的乘性离散模型中,标准误大约增大为原来的

ϕ.\sqrt{\phi}.

例如,ϕ=4\phi=4 对应的标准误约为采用未经调整的参考方差时的两倍。

过度离散并不必然意味着回归系数有偏。在均值模型适当且满足相应正则条件时,即使方差设定错误,泊松估计方程仍可给出一致估计。错误的均值结构或未建模的依赖关系可能引发其他问题,而这些问题无法通过重新缩放方差来解决。

协方差矩阵的稳健夹心估计,可以使某些系数推断免受方差误设的影响。聚集观测需要采用考虑聚集结构的方法;普通的观测层面稳健标准误并不会自动做到这一点。稳健的不确定性估计也不能为预测提供正确的结果分布。

重要限制

单个二元响应服从伯努利分布,其方差必然为 p(1−p)p(1-p)。对于均值固定的单个二元观测,不存在单独的边际过度离散参数。超二项变异需要通过分组试验、重复观测、依赖关系或额外的模型结构才能识别。因此,与分组二项计数相比,对普通的未分组逻辑回归应用离散程度修正,需要更充分的理由。

过度离散也不同于偏度、重尾和零值频率高。这些特征可能伴随过度离散出现,但并不是其定义。过度离散也不意味着负二项模型必然适用:即使方差匹配,均值、依赖结构、零值频率或尾部仍可能存在系统性误差。