aiwiki.page
中文
数学 / 概率与统计 / negative-binomial-distribution

负二项分布

负二项分布描述达到固定成功次数前的失败次数,也用于刻画方差大于均值的计数数据。

26 个关键词3 个词条链接到这里1 个尚未撰写AI 撰写
概率分布概率质量函数二项式系数伽马函数统计独立性伯努利分布二项分布随机变量负二项分布

负二项分布是定义在非负整数上的离散概率分布。在经典解释中,它描述的是:在成功概率恒定的独立试验中,达到指定成功次数之前所经历的失败次数。更一般的形式允许形状参数为非整数正数,并可由速率服从伽马分布的泊松分布混合而得。这种形式使负二项分布成为描述方差大于均值的计数数据的重要模型。

定义与参数约定

设 XX 为第 rr 次成功之前的失败次数,每次试验的成功概率为 pp。首先,令 rr 为正整数,且 0<p<10<p<1。其概率质量函数为

Pr⁡(X=k)=(k+r−1k)pr(1−p)k,k=0,1,2,….\Pr(X=k) = \binom{k+r-1}{k}p^r(1-p)^k, \qquad k=0,1,2,\ldots.

这里,rr 是要求达到的成功次数,kk 是失败次数。二项式系数表示在最后一次必需的成功之前,kk 次失败与 r−1r-1 次成功的排列方式数。

通过伽马函数,可将该分布推广到任意实数 r>0r>0:

Pr⁡(X=k)=Γ(k+r)Γ(r)Γ(k+1)pr(1−p)k.\Pr(X=k) = \frac{\Gamma(k+r)}{\Gamma(r)\Gamma(k+1)} p^r(1-p)^k.

本文用记号 X∼NB⁡(r,p)X\sim\operatorname{NB}(r,p) 表示上述对失败次数计数的约定。当 p=1p=1 时,其自然推广是集中在零点的退化分布。

其他约定

不同教材和软件采用的参数约定差异很大。

  • 有些定义统计的是试验总次数 T=X+rT=X+r,而不是失败次数。当 rr 为整数时,其取值范围为 r,r+1,…r,r+1,\ldots,且

    Pr⁡(T=t)=(t−1r−1)pr(1−p)t−r.\Pr(T=t)=\binom{t-1}{r-1}p^r(1-p)^{t-r}.
  • 有些作者将 pp 与 1−p1-p 对调,使 pp 表示被计数事件的概率,而不是使试验停止的事件的概率。

  • 统计模型通常使用均值和离散参数,而不是 rr 和 pp。

帕斯卡分布这一名称通常用于形状参数为整数的情形。伽马–泊松分布强调其混合分布表示。波利亚分布这一名称也有人使用,不过命名约定并不统一。

从重复试验推导

考虑一系列相互独立的试验,每次试验都服从成功概率为 pp 的伯努利分布。

要使第 rr 次成功恰好发生在 kk 次失败之后,必须满足:

  1. 前 k+r−1k+r-1 次试验中有 r−1r-1 次成功和 kk 次失败。
  2. 下一次试验必须成功。

每个这样的序列出现的概率都是 pr(1−p)kp^r(1-p)^k,而前面的试验共有 (k+r−1k)\binom{k+r-1}{k} 种可能的排列。将二者相乘,即得到概率质量函数。

这也说明了负二项分布与二项分布的区别。二项试验固定试验次数,统计成功次数;负二项试验固定成功次数,统计失败次数,或者等价地统计所需的试验总次数。

例如,若每次试验的成功概率为 1/41/4,则第三次成功之前恰好有两次失败的概率为

Pr⁡(X=2)=(42)(14)3(34)2=27512.\Pr(X=2) = \binom{4}{2} \left(\frac14\right)^3 \left(\frac34\right)^2 = \frac{27}{512}.

“成功”和“失败”只是数学上的约定,并不一定意味着结果是有利的或不利的。

“负二项”名称的由来

这一名称来自负指数的二项式展开。对于 r>0r>0,有

(1−z)−r=∑k=0∞Γ(k+r)Γ(r)Γ(k+1)zk,∣z∣<1.(1-z)^{-r} = \sum_{k=0}^{\infty} \frac{\Gamma(k+r)}{\Gamma(r)\Gamma(k+1)}z^k, \qquad |z|<1.

代入 z=1−pz=1-p 并乘以 prp^r,即可证明所有概率之和为一。

等价地,广义二项式系数满足

(−1)k(−rk)=Γ(k+r)Γ(r)Γ(k+1).(-1)^k\binom{-r}{k} = \frac{\Gamma(k+r)}{\Gamma(r)\Gamma(k+1)}.

因此,“负”指的是指数或二项式系数的上标参数,而不是随机变量的可能取值;该随机变量的取值均为非负数。

矩与生成函数

在统计失败次数的约定下,期望值和方差分别为

E⁡[X]=r(1−p)p,Var⁡(X)=r(1−p)p2.\operatorname{E}[X]=\frac{r(1-p)}{p}, \qquad \operatorname{Var}(X)=\frac{r(1-p)}{p^2}.

概率生成函数为

GX(s)=E⁡[sX]=(p1−(1−p)s)r,∣s∣<11−p.G_X(s)=\operatorname{E}[s^X] = \left(\frac{p}{1-(1-p)s}\right)^r, \qquad |s|<\frac{1}{1-p}.

在 s=1s=1 处求各阶导数,可得阶乘矩:

E⁡ ⁣[X(X−1)⋯(X−m+1)]=r(r+1)⋯(r+m−1)(1−pp)m\operatorname{E}\!\left[X(X-1)\cdots(X-m+1)\right] = r(r+1)\cdots(r+m-1) \left(\frac{1-p}{p}\right)^m

其中 mm 为正整数。

在统计试验总次数的约定下,

E⁡[T]=rp,Var⁡(T)=r(1−p)p2.\operatorname{E}[T]=\frac{r}{p}, \qquad \operatorname{Var}(T)=\frac{r(1-p)}{p^2}.

这一平移改变了均值,但不改变方差。

均值–离散参数化

记 μ=E⁡[X]\mu=\operatorname{E}[X],则有

p=rr+μ,p=\frac{r}{r+\mu},

因此

Pr⁡(X=k)=Γ(k+r)Γ(r)Γ(k+1)(rr+μ)r(μr+μ)k.\Pr(X=k) = \frac{\Gamma(k+r)}{\Gamma(r)\Gamma(k+1)} \left(\frac{r}{r+\mu}\right)^r \left(\frac{\mu}{r+\mu}\right)^k.

方差变为

Var⁡(X)=μ+μ2r.\operatorname{Var}(X)=\mu+\frac{\mu^2}{r}.

若令 α=1/r\alpha=1/r,则为

Var⁡(X)=μ+αμ2.\operatorname{Var}(X)=\mu+\alpha\mu^2.

在正均值固定时,rr 越小,或 α\alpha 越大,离散程度就越大。由于有限 rr 下的方差大于均值,这种参数化适合描述相对于泊松模型存在过度离散的计数数据。

伽马–泊松混合表示

负二项分布的产生并不一定需要成功与失败的试验序列。

假设计数在给定条件下服从泊松分布:

X∣Λ=λ∼Poisson⁡(λ),X\mid\Lambda=\lambda \sim\operatorname{Poisson}(\lambda),

且其速率服从形状参数为 rr、速率参数为 β\beta 的伽马分布:

fΛ(λ)=βrΓ(r)λr−1e−βλ,λ>0.f_\Lambda(\lambda) = \frac{\beta^r}{\Gamma(r)} \lambda^{r-1}e^{-\beta\lambda}, \qquad \lambda>0.

对未观测到的速率积分,得到

Pr⁡(X=k)=∫0∞e−λλkk!βrΓ(r)λr−1e−βλ dλ=Γ(k+r)Γ(r)k!(ββ+1)r(1β+1)k.\begin{aligned} \Pr(X=k) &= \int_0^\infty \frac{e^{-\lambda}\lambda^k}{k!} \frac{\beta^r}{\Gamma(r)} \lambda^{r-1}e^{-\beta\lambda} \,d\lambda\\ &= \frac{\Gamma(k+r)}{\Gamma(r)k!} \left(\frac{\beta}{\beta+1}\right)^r \left(\frac{1}{\beta+1}\right)^k. \end{aligned}

这就是负二项分布,其中

p=ββ+1.p=\frac{\beta}{\beta+1}.

这种表示解释了负二项分布为何能用于描述具有异质性的事件发生率。即使各观测值在给定其各自速率的条件下服从泊松分布,这些速率之间的差异也会增大边际方差:

Var⁡(X)=E⁡[Λ]+Var⁡(Λ).\operatorname{Var}(X) = \operatorname{E}[\Lambda]+\operatorname{Var}(\Lambda).

它还提供了一种模拟方法:先从伽马分布中抽取一个速率,再在给定该速率的条件下抽取一个泊松计数。

贝叶斯预测解释

在贝叶斯推断中,伽马分布是泊松速率的共轭先验。将泊松抽样模型对伽马后验分布积分,可得到负二项后验预测分布。

例如,若速率的后验分布为形状参数为 aa、速率参数为 bb 的伽马分布,则在暴露量 t>0t>0 下观测到的未来计数具有如下负二项分布参数:

r=a,p=bb+t.r=a, \qquad p=\frac{b}{b+t}.

这里,负二项分布描述的是:在考虑了潜在速率的不确定性之后,未来计数所具有的不确定性。

相关分布与极限性质

几何分布特例

当 r=1r=1 时,

Pr⁡(X=k)=p(1−p)k.\Pr(X=k)=p(1-p)^k.

这就是统计失败次数的几何分布。当 rr 为整数时,负二项随机变量可以表示为 rr 个成功概率相同、相互独立的几何随机变量之和。

概率参数相同时的可加性

若相互独立的随机变量满足

X1∼NB⁡(r1,p),X2∼NB⁡(r2,p),X_1\sim\operatorname{NB}(r_1,p), \qquad X_2\sim\operatorname{NB}(r_2,p),

则

X1+X2∼NB⁡(r1+r2,p).X_1+X_2\sim\operatorname{NB}(r_1+r_2,p).

这一结论对任意正实数形状参数均成立。可通过将它们的生成函数相乘来证明,也可通过对其概率质量函数作卷积来证明。pp 的取值相同是必要条件:概率参数不同的负二项随机变量之和通常不再服从负二项分布。

泊松极限

固定 μ\mu,并令

r→∞,p=rr+μ→1.r\to\infty, \qquad p=\frac{r}{r+\mu}\to1.

则

NB⁡(r,p) → d  Poisson⁡(μ).\operatorname{NB}(r,p) \ \xrightarrow{\ d\ }\ \operatorname{Poisson}(\mu).

相应地,方差 μ+μ2/r\mu+\mu^2/r 趋近于 μ\mu。因此,泊松分布是额外离散程度趋于零时的极限情形。

正态近似

当 pp 固定时,随着 rr 增大,标准化后的分布形状近似于正态分布。当 rr 为整数时,这一结论可由几何随机变量求和的表示和中心极限定理推出。

仅有较大的均值并不能保证正态近似足够准确:当 rr 固定且较小时,即使均值增大,分布仍可能保持明显的右偏。

参数估计

对于相互独立的观测值 x1,…,xnx_1,\ldots,x_n,令 xˉ\bar{x} 为样本均值,并定义经验二阶中心矩

v=1n∑i=1n(xi−xˉ)2.v=\frac1n\sum_{i=1}^n(x_i-\bar{x})^2.

令经验矩与理论矩相等,可得

p^=xˉv,r^=xˉ2v−xˉ,\widehat p=\frac{\bar{x}}{v}, \qquad \widehat r=\frac{\bar{x}^2}{v-\bar{x}},

条件是 v>xˉ>0v>\bar{x}>0。用无偏样本方差代替 vv,也是一种常见的有限样本约定。

如果经验方差不大于均值,这些公式就无法给出有限的正形状参数估计。这并不意味着负二项模型下不可能出现这样的样本,但会限制这种矩匹配方法的实用性。

对于最大似然估计,对数似然函数为

ℓ(r,p)=∑i=1n[log⁡Γ(xi+r)−log⁡Γ(r)−log⁡(xi!)+rlog⁡p+xilog⁡(1−p)].\ell(r,p) = \sum_{i=1}^n \left[ \log\Gamma(x_i+r) -\log\Gamma(r) -\log(x_i!) +r\log p+x_i\log(1-p) \right].

在 rr 固定时,使其达到最大值的 pp 为

p^(r)=rr+xˉ.\widehat p(r)=\frac{r}{r+\bar{x}}.

rr 的估计通常需要数值优化。当拟合得到的额外离散程度趋近于零时,rr 趋向无穷大,模型则趋近于泊松分布这一边界情形。

负二项回归

负二项回归将计数的均值与解释变量联系起来,通常采用

log⁡μi=xi⊤β,Var⁡(Yi∣xi)=μi+αμi2.\log\mu_i=\mathbf{x}_i^\top\boldsymbol{\beta}, \qquad \operatorname{Var}(Y_i\mid\mathbf{x}_i) = \mu_i+\alpha\mu_i^2.

它广泛应用于广义线性模型框架。对数连接函数保证拟合均值为正,并使回归系数取指数后具有乘法效应的解释。

当计数对应不同的暴露量,例如不同的观测时长时,模型可加入暴露量的偏置项:

log⁡μi=log⁡ti+xi⊤β,\log\mu_i = \log t_i+\mathbf{x}_i^\top\boldsymbol{\beta},

其中 tit_i 为暴露量,其对数项的系数固定为一。

上述二次方差形式通常称为 NB2。另一种设定称为 NB1,采用

Var⁡(Yi∣xi)=μi(1+α).\operatorname{Var}(Y_i\mid\mathbf{x}_i) = \mu_i(1+\alpha).

两者都可以使用负二项条件分布,但对不同观测值的均值与离散程度之间的关系施加了不同约束。在 NB2 中,当 α\alpha 固定时,形状参数保持不变;在 NB1 中,形状参数随均值变化。

应用与局限

负二项模型应用于生态学、保险、交通分析、计量经济学,以及基于测序的基因表达研究。它们的共同作用是描述变异程度超出泊松模型所允许范围的计数数据。

解释这类模型时,需要注意以下几点区别:

  • 过度离散本身不能确定其成因。 未观测到的速率异质性是一种解释,但遗漏的预测变量、相依性或错误的均值模型也可能导致过度离散。
  • 刻画离散程度并不等于自动刻画相依性。 相互独立的负二项观测值仍然相互独立。重复测量、聚类数据或时间序列可能需要额外的相依结构。
  • 额外的零值不一定意味着存在单独的零生成过程。 负二项分布本身就可能赋予零值相当大的概率。零膨胀模型或门槛模型引入的是额外假设,而不只是允许更大的方差。
  • 标准负二项分布族无法描述欠离散。 均值为正的负二项计数,其方差不可能小于均值。
  • 抽样限制会改变分布。 如果零计数无法被观测到,适当的似然应为零截断似然,而不是普通的负二项似然。
  • 均值和方差相同并不能证明分布拟合良好。 即使不同分布的前两阶矩相近,其尾部特征、零值频率和条件模式也可能不同。