{
  "id": "overdispersion",
  "title": "过度离散",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "过度离散是指数据的变异程度超出指定统计模型的预测，常见于计数数据和分组二元结果模型。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "过离散",
    "过度离散性"
  ],
  "generated_at": "2026-11-06",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/overdispersion/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/overdispersion/",
      "json": "https://aiwiki.page/en/overdispersion.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "在统计学中，过度离散是指观测值的变异程度大于指定统计模型所预测的程度。当模型通过期望值约束方差时，例如泊松模型和二项模型，过度离散尤为重要。因此，过度离散是相对于参考模型而言的，并非数据集的固有性质：在一个模型下显得过大的变异，可能在另一个模型下得到充分解释。"
    },
    {
      "heading": "定义与参考模型",
      "text": "假设某个模型为观测值 \\(Y_i\\) 指定了期望响应 \\(\\mu_i\\) 和方差 \\(V(\\mu_i)\\)。一种常见的扩展方式是引入离散参数 \\(\\phi\\)：\n\n\\[\\operatorname{Var}(Y_i)=\\phi V(\\mu_i).\\]\n\n在这一表述中，\\(\\phi=1\\) 表示参考方差，\\(\\phi>1\\) 表示过度离散，\\(0<\\phi<1\\) 表示欠离散。并非所有模型都通过一个常数乘子来表示离散程度；有些模型允许超额方差随均值变化。\n\n两个重要的参考模型是：\n\n- **泊松分布：**若 \\(Y\\sim\\operatorname{Poisson}(\\mu)\\)，则\n\n\\[\\operatorname{E}(Y)=\\operatorname{Var}(Y)=\\mu.\\]\n\n方差大于均值，表明相对于具有该均值的泊松模型存在过度离散。\n- **二项分布：**若 \\(Y\\sim\\operatorname{Binomial}(n,p)\\)，则\n\n\\[\\operatorname{E}(Y)=np,\\qquad \\operatorname{Var}(Y)=np(1-p).\\]\n\n超二项变异是指，在指定试验次数和成功概率后，变异程度超过该表达式给出的值。\n\n例如，在可比的计数区间内，若期望计数为 10、方差为 30，则相对于泊松模型存在过度离散。这并不意味着每个计数值都异常偏大；超额方差既可能涉及偏低的计数，也可能涉及偶尔出现的高计数。\n\n条件变异与边际变异\n\n在回归分析中，通常需要在给定解释变量的条件下进行比较：\n\n\\[\\operatorname{Var}(Y_i\\mid X_i) \\quad\\text{versus}\\quad V\\!\\left(\\operatorname{E}[Y_i\\mid X_i]\\right).\\]\n\n原始样本方差大于样本均值，本身并不能证明泊松回归中存在过度离散。由于暴露量、总体规模或测得的特征不同，各观测值的期望计数可能不同。即使每个条件泊松模型都是正确的，将这些观测值合并也会产生额外的变异。\n\n这一区别也意味着，拟合适当的均值模型后，过度离散可能消失；也可能因相关的异质性仍未被观测到而继续存在。"
    },
    {
      "heading": "过度离散的来源",
      "text": "过度离散是一种统计特征，并不对应唯一的数据生成机制。\n\n未观测到的异质性\n\n不同个体、地点或观测时期的潜在事件发生率可能不同。即使在给定各自发生率的条件下，计数服从泊松分布，将不同发生率下的计数混合起来也会产生超泊松变异。\n\n设 \\(\\Lambda\\) 为非负的随机发生率，并假设\n\n\\[Y\\mid\\Lambda\\sim\\operatorname{Poisson}(\\Lambda).\\]\n\n利用条件期望表示的全方差公式可得\n\n\\[\\begin{aligned} \\operatorname{Var}(Y) &= \\operatorname{E}\\!\\left[\\operatorname{Var}(Y\\mid\\Lambda)\\right] + \\operatorname{Var}\\!\\left(\\operatorname{E}[Y\\mid\\Lambda]\\right)\\\\ &=\\operatorname{E}(\\Lambda)+\\operatorname{Var}(\\Lambda). \\end{aligned}\\]\n\n由于 \\(\\operatorname{E}(Y)=\\operatorname{E}(\\Lambda)\\)，只要发生率的方差为正，就会产生边际过度离散。\n\n依赖与聚集\n\n二项模型假定各次试验具有统计独立性，且成功概率相同。如果组内结果呈正相关，它们的总和就会具有比二项模型所预测的更大的方差。\n\n对于 \\(n\\) 个可交换的二元结果，若成功概率为 \\(p\\)，任意两者之间共同的相关关系以相关系数 \\(\\rho\\) 表示，则\n\n\\[\\operatorname{Var}(Y) = np(1-p)\\bigl[1+(n-1)\\rho\\bigr].\\]\n\n因此，组内正相关会增大方差。重复测量、空间聚集的观测以及时间序列中也会出现类似效应。\n\n观测值之间存在依赖，并不等同于各观测值相互独立但各自方差更大。仅用一个标量调整离散程度，通常无法表示完整的依赖结构。\n\n均值与观测过程的误设\n\n表观的过度离散可能源于遗漏预测变量、函数形式不恰当、缺少交互作用，或未考虑暴露量。例如，对持续时间不等的观测时期所得计数，需要进行适当的暴露量调整。\n\n其他可能的来源包括：\n\n- 不同总体的混合；\n- 事件的聚集或突发；\n- 由单独的过程生成部分零值结果；\n- 记录错误或影响异常大的观测值。\n\n不同机制可能产生相似的方差模式，因此仅凭过度离散无法确定其成因。"
    },
    {
      "heading": "过度离散数据的模型",
      "text": "负二项模型\n\n负二项分布是一种广泛使用的泊松分布替代方案。一种常见的均值—方差参数化形式为\n\n\\[\\operatorname{E}(Y)=\\mu,\\qquad \\operatorname{Var}(Y)=\\mu+\\alpha\\mu^2, \\qquad \\alpha>0.\\]\n\n当泊松发生率服从伽马分布时，就会得到这一分布。参数 \\(\\alpha\\) 控制异质性；当 \\(\\alpha\\) 趋近于零时，其极限情形为泊松分布。\n\n在负二项回归中，均值可以采用与泊松回归相同的对数连接结构：\n\n\\[\\log\\mu_i=x_i^{\\mathsf T}\\beta+\\log t_i,\\]\n\n其中，\\(t_i\\) 是已知的暴露量，\\(\\log t_i\\) 是偏置项。\n\n负二项分布有不同的参数化方式。上述二次方差形式通常称为 NB2；另一种通常称为 NB1 的形式，其方差与均值成正比，例如 \\(\\mu(1+\\alpha)\\)。因此，与单独给出模型名称相比，方差公式能提供更多信息。\n\n拟似然模型\n\n在广义线性模型框架内，拟似然方法规定均值与方差之间的关系，而不指定完整的响应分布。\n\n拟泊松模型采用\n\n\\[\\operatorname{Var}(Y_i\\mid X_i)=\\phi\\mu_i.\\]\n\n在均值模型和观测权重相同的情况下，其系数估计方程与泊松回归相同，但系数方差估计值要乘以估计的离散参数。\n\n拟泊松模型与负二项模型不能互换。它们的方差函数通常会赋予各观测值不同的相对权重，因此系数估计可能不同。此外，仅有拟似然设定本身，并不能给出各个结果的概率或完整的预测分布。\n\n贝塔—二项模型\n\n对于分组二元结果，贝塔—二项分布允许成功概率在组间变化：\n\n\\[P\\sim\\operatorname{Beta}(a,b),\\qquad Y\\mid P\\sim\\operatorname{Binomial}(n,P).\\]\n\n这里的混合分布是贝塔分布。记\n\n\\[p=\\frac{a}{a+b}, \\qquad \\rho=\\frac{1}{a+b+1},\\]\n\n则有\n\n\\[\\operatorname{Var}(Y) = np(1-p)\\bigl[1+(n-1)\\rho\\bigr].\\]\n\n该模型通过组层面概率的异质性表示超二项变异；等价地说，它在共享同一概率的试验之间引入了正依赖。\n\n多层模型与零膨胀模型\n\n混合效应模型显式表示组间或观测单位之间的变异。这类模型可以区分组内变异与组间变异，并对重复观测之间的依赖关系建模。\n\n零膨胀模型则将一个始终产生零值的成分与普通计数分布相结合。对于结构性零值概率为 \\(\\pi\\)、泊松成分均值为 \\(\\lambda\\) 的零膨胀泊松模型，\n\n\\[\\operatorname{E}(Y)=(1-\\pi)\\lambda,\\]\n\n\\[\\operatorname{Var}(Y) = (1-\\pi)\\lambda+\\pi(1-\\pi)\\lambda^2.\\]\n\n当 \\(0<\\pi<1\\) 且 \\(\\lambda>0\\) 时，方差大于均值。不过，大量零值本身并不能证明存在独立的零值生成过程：普通的过度离散计数分布也可能预测出远多于泊松分布的零值。"
    },
    {
      "heading": "检测与评估",
      "text": "对于已拟合的广义线性模型中的独立观测，一种常见的诊断指标是皮尔逊离散参数估计量：\n\n\\[\\widehat{\\phi} = \\frac{X_P^2}{N-k}, \\qquad X_P^2= \\sum_{i=1}^{N} \\frac{(y_i-\\widehat{\\mu}_i)^2}{V(\\widehat{\\mu}_i)}.\\]\n\n这里，\\(N\\) 为观测数，\\(k\\) 为拟合的均值参数个数，\\(N-k\\) 为残差自由度。该值明显大于 1，提示变异程度高于参考模型的预测。\n\n这一比值并不是通用的检验方法。其表现取决于样本量、拟合均值、杠杆值、参数估计以及所假定的独立性结构。稀疏计数和较小的二项试验次数可能使简单的大样本近似不可靠。残差偏差除以残差自由度是另一种诊断指标，但它通常并不等同于皮尔逊估计量。\n\n评估还可以包括：\n\n- 绘制残差相对于拟合值、预测变量、时间及组别的图；\n- 检查暴露量调整和拟合的均值结构；\n- 将观测到的零值及尾部与模型生成的数据进行比较；\n- 在拟合模型下开展基于模拟的检验；\n- 在贝叶斯分析中进行后验预测检验。\n\n正式检验可以比较泊松模型与负二项模型，或评估额外的方差分量。当不存在过度离散的情形位于参数空间边界上时，使用标准的统计假设检验近似需要谨慎。在相关假设适当时，参数自助采样可以提供一种基于模型的替代方法。"
    },
    {
      "heading": "对推断的影响",
      "text": "忽略额外变异时，基于模型的标准误往往偏小，置信区间过窄，显著性检验也过于宽松。预测还可能为极端观测值分配过低的概率。\n\n在简单的乘性离散模型中，标准误大约增大为原来的\n\n\\[\\sqrt{\\phi}.\\]\n\n例如，\\(\\phi=4\\) 对应的标准误约为采用未经调整的参考方差时的两倍。\n\n过度离散并不必然意味着回归系数有偏。在均值模型适当且满足相应正则条件时，即使方差设定错误，泊松估计方程仍可给出一致估计。错误的均值结构或未建模的依赖关系可能引发其他问题，而这些问题无法通过重新缩放方差来解决。\n\n协方差矩阵的稳健夹心估计，可以使某些系数推断免受方差误设的影响。聚集观测需要采用考虑聚集结构的方法；普通的观测层面稳健标准误并不会自动做到这一点。稳健的不确定性估计也不能为预测提供正确的结果分布。"
    },
    {
      "heading": "重要限制",
      "text": "单个二元响应服从伯努利分布，其方差必然为 \\(p(1-p)\\)。对于均值固定的单个二元观测，不存在单独的边际过度离散参数。超二项变异需要通过分组试验、重复观测、依赖关系或额外的模型结构才能识别。因此，与分组二项计数相比，对普通的未分组逻辑回归应用离散程度修正，需要更充分的理由。\n\n过度离散也不同于偏度、重尾和零值频率高。这些特征可能伴随过度离散出现，但并不是其定义。过度离散也不意味着负二项模型必然适用：即使方差匹配，均值、依赖结构、零值频率或尾部仍可能存在系统性误差。"
    }
  ],
  "links": [
    "statistics",
    "expected-value",
    "variance",
    "poisson-distribution",
    "binomial-distribution",
    "sample-mean",
    "conditional-expectation",
    "statistical-independence",
    "correlation",
    "time-series",
    "negative-binomial-distribution",
    "generalized-linear-model",
    "beta-distribution",
    "mixed-effects-model",
    "degrees-of-freedom",
    "posterior-predictive-checking",
    "statistical-hypothesis-testing",
    "bootstrap-sampling",
    "standard-error",
    "confidence-interval",
    "covariance-matrix",
    "bernoulli-distribution",
    "logistic-regression"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}