概率生成函数(PGF)是一种生成函数,其系数为非负整数值随机变量取各个值的概率。它用一个函数表示整个概率分布。其代数性质和解析性质使其特别适合研究计数、独立随机变量之和、随机项数的和以及种群模型。
定义与定义域
设 X 的取值范围为 {0,1,2,…},其概率质量函数为
pn=Pr(X=n).
X 的概率生成函数定义为
GX(s)=E[sX]=n=0∑∞pnsn,
其中,E 表示期望值。当 s=0 时,规定 X=0 对应的项为 1,因此 GX(0)=p0。
尽管在许多概率论应用中,只需考虑实数自变量 0≤s≤1,但也可以将概率生成函数视为以复数为自变量的函数。定义它的幂级数对所有 ∣s∣≤1 都绝对收敛,因为
n=0∑∞∣pnsn∣≤n=0∑∞pn=1.
因此,它的收敛半径至少为 1。它在开单位圆盘内是解析函数,并且在闭单位圆盘上连续。
收敛半径可能大于 1,但并不一定如此。有限支撑分布的概率生成函数是多项式,而尾部足够重的分布,其概率生成函数的收敛半径可能恰好为 1。
幂级数
G(s)=n=0∑∞ansn
是概率生成函数,当且仅当其各项系数非负且总和为 1。
还原概率
概率生成函数的系数恰好就是它所编码的概率。具体而言,
Pr(X=n)=n!GX(n)(0),n=0,1,2,…,
其中 GX(0)=GX。因此,概率生成函数唯一确定其对应的分布。
采用系数提取记号,可写为
[sn]GX(s)=Pr(X=n).
例如,若
GX(s)=41+21s+41s2,
则 X 分别以概率 1/4,1/2,1/4 取值 0,1,2。
累积概率也可以从生成函数中提取。对于 ∣s∣<1,有
1−sGX(s)=n=0∑∞Pr(X≤n)sn.
类似地,
1−s1−GX(s)=n=0∑∞Pr(X>n)sn.
第二个恒等式给出尾和公式
E[X]=n=0∑∞Pr(X>n),
其中两边都允许为无穷大。
基本性质
每个概率生成函数都满足
GX(0)=Pr(X=0),GX(1)=1.
在区间 [0,1] 上,概率生成函数单调不减且为凸函数。在 0<s<1 内,其各阶导数均非负,因为逐项求导可得
GX(k)(s)=n=k∑∞n(n−1)⋯(n−k+1)pnsn−k.
概率生成函数在某些特定复数处的取值可以揭示分布的算术特征。例如,
GX(−1)=Pr(X is even)−Pr(X is odd),
因此
Pr(X is even)=21+GX(−1).
更一般地,概率生成函数在单位根处的取值可以确定各剩余类的概率。若 ω=e2πi/m,则
Pr(X≡r(modm))=m1j=0∑m−1ω−jrGX(ωj).
这是一个有限的离散傅里叶变换反演恒等式。
阶乘矩、均值与方差
在 s=1 处求导可得到阶乘矩。将下降阶乘定义为
(X)k=X(X−1)⋯(X−k+1).
则
GX(k)(1−)=E[(X)k].
记号 1− 表示 s 从下方递增趋于 1 时的极限。即使相关的矩不有限,这些恒等式仍然成立,此时取值为 +∞。
特别地,
E[X]=GX′(1−)
且
E[X(X−1)]=GX′′(1−).
当二阶矩有限时,方差为
Var(X)=GX′′(1−)+GX′(1−)−(GX′(1−))2.
这可由 X2=X(X−1)+X 得出。
普通矩也可以通过微分算子
D=sdsd
求得。由于 D(sn)=nsn,有
E[Xk]=s↑1limDkGX(s).
因此,即使随机变量的均值或更高阶矩为无穷大,其概率生成函数也总是在 [0,1] 上存在。
典型示例
伯努利分布
对于成功概率为 p 的伯努利分布随机变量,
Pr(X=0)=1−p,Pr(X=1)=p,
且
GX(s)=1−p+ps.
二项分布
若 X 服从参数为 n 和 p 的二项分布,则
GX(s)=(1−p+ps)n.
各项系数可由二项式定理求出。求导可得
E[X]=np,Var(X)=np(1−p).
泊松分布
对于参数为 λ≥0 的泊松分布,
GX(s)=n=0∑∞e−λn!λnsn=eλ(s−1).
因此,
E[X]=Var(X)=λ.
几何分布
假设每次独立试验的成功概率为 p,其中 0<p≤1,而 X 表示首次成功之前的失败次数。则
Pr(X=n)=p(1−p)n,n≥0,
利用等比级数可得
GX(s)=1−(1−p)sp.
如果随机变量表示直到首次成功为止的试验次数,且包括首次成功的那次试验,那么其概率生成函数为
1−(1−p)sps.
这一区别对应于几何分布的两种常见约定。
独立随机变量之和与卷积
若 X 与 Y 满足统计独立性,则
GX+Y(s)=E[sX+Y]=E[sX]E[sY]=GX(s)GY(s).
概率生成函数的乘法对应于概率质量函数的卷积:
Pr(X+Y=n)=k=0∑nPr(X=k)Pr(Y=n−k).
对于相互独立的 X1,…,Xm,有
GX1+⋯+Xm(s)=j=1∏mGXj(s).
如果它们同分布,且概率生成函数均为 G,则上式变为 G(s)m。
例如,参数分别为 λ1,…,λm 的独立泊松随机变量,其和的概率生成函数为
j=1∏meλj(s−1)=e(λ1+⋯+λm)(s−1),
由此可知,该和服从参数为 λ1+⋯+λm 的泊松分布。
若不具备独立性,上述乘法法则一般不成立。
随机和与稀疏化
随机和
设 N 为非负整数值随机变量,X1,X2,… 为独立同分布的非负整数值随机变量,且整个序列与 N 独立。定义
S=j=1∑NXj,
并约定当 N=0 时,S=0。
以 N 为条件计算可得
GS(s)=E[GX(s)N]=GN(GX(s)).
因此,随机和对应于概率生成函数的函数复合。
当相关的矩有限时,
E[S]=E[N]E[X1]
且
Var(S)=E[N]Var(X1)+Var(N)(E[X1])2.
若 N 服从参数为 λ 的泊松分布,则所得的复合泊松分布具有概率生成函数
GS(s)=exp(λ(GX(s)−1)).
独立稀疏化
假设有 X 个对象,每个对象都以概率 p 独立地被保留。若 Y 为保留下来的对象数,则给定 X=n 时,Y 的条件分布为二项分布:
Y∣X=n∼Binomial(n,p).
因此,
GY(s)=GX(1−p+ps).
特别地,对均值为 λ 的泊松计数进行稀疏化,所得计数仍服从泊松分布,均值为 pλ。
分枝过程
概率生成函数在分枝过程中起着核心作用。在 Galton–Watson 过程中,每个个体独立地产生随机数量的子代,且子代数量具有相同的概率生成函数 f。设 Zn 为第 n 代的种群数量,初始数量为 Z0=1。
给定 Zn 后,下一代的种群数量是 Zn 个独立子代数量之和。因此,
GZn+1(s)=GZn(f(s)),
且
GZn(s)=f∘n(s),
其中,f∘n 表示 n 次复合,而非普通乘方。
截至第 n 代已经灭绝的概率为
Pr(Zn=0)=f∘n(0).
最终灭绝概率 q 是不动点方程
在 [0,1] 内的最小解。
记平均子代数为 m=f′(1−),则:
- 若 m<1,灭绝概率为 1。
- 若 m=1,灭绝概率为 1,但每个个体都恰好产生一个子代的情形除外。
- 若 m>1,灭绝概率小于 1。
多元概率生成函数
对于非负整数值随机变量 X1,…,Xd,联合概率生成函数为
G(s1,…,sd)=E[j=1∏dsjXj].
其系数编码了这些变量的联合概率分布。
将除 si 之外的所有自变量设为 1,即可得到 Xi 的边缘概率生成函数。将所有自变量都设为 s,即可得到 X1+⋯+Xd 的概率生成函数,无论这些随机变量是否独立。
混合偏导数给出混合阶乘矩。对于不同的 i 和 j,若二阶矩有限,则
Cov(Xi,Xj)=∂si∂sj∂2G(1)−∂si∂G(1)∂sj∂G(1),
其中,边界处的导数理解为从定义域内部趋近边界时的极限。
这些随机变量相互独立,当且仅当联合概率生成函数可分解为各边缘概率生成函数的乘积。
相关变换与局限性
矩生成函数
MX(t)=E[etX]
与概率生成函数的关系为
MX(t)=GX(et)
其中要求相应的期望值有限。概率生成函数在 [0,1] 上总是有限的,而 MX(t) 对任何正的 t 都可能不有限。
特征函数(概率论)满足
φX(t)=GX(eit),
而拉普拉斯变换满足
E[e−tX]=GX(e−t),t≥0.
普通概率生成函数专门适用于非负整数值随机变量。对于可以取负整数值的随机变量,通常需要使用含负幂的级数;对于非整数值随机变量,则使用其他变换更为自然。
虽然概率生成函数能够确定每个取值的概率,但提取高阶系数在计算上可能很困难。反复进行数值微分可能不稳定;根据函数的表示形式,采用系数递推、符号展开或基于傅里叶变换的方法可能更合适。将函数解析延拓到原收敛圆盘之外时也须谨慎:延拓后的函数值未必等于有限的期望值 E[sX]。