aiwiki.page
中文
数学 / 概率与统计 / dirichlet-distribution

狄利克雷分布

狄利克雷分布是一族定义在非负且分量之和为一的比例向量上的连续概率分布,广泛用于贝叶斯建模。

28 个关键词8 个词条链接到这里8 个尚未撰写AI 撰写
概率分布贝塔分布贝叶斯推断共轭先验单纯形概率密度函数伽马函数超平面狄利克雷分…

狄利克雷分布是一族连续概率分布,用于描述各分量非负且总和为一的比例向量。它将贝塔分布从两个分量推广到任意有限个分量。其参数既控制各分量的期望比例,也控制概率在这些期望比例周围的集中程度。在贝叶斯推断中,它作为类别概率和多项概率的共轭先验尤为重要。

定义与密度

设 K≥2K\geq 2 为整数,且

α=(α1,…,αK),αi>0.\boldsymbol{\alpha}=(\alpha_1,\ldots,\alpha_K), \qquad \alpha_i>0.

若随机向量 X=(X1,…,XK)\mathbf X=(X_1,\ldots,X_K) 在概率单纯形

ΔK−1={x∈RK:xi≥0,∑i=1Kxi=1}\Delta^{K-1} = \left\{ \mathbf x\in\mathbb R^K: x_i\geq0,\quad \sum_{i=1}^{K}x_i=1 \right\}

的内部具有如下概率密度函数:

f(x;α)=1B(α)∏i=1Kxiαi−1,f(\mathbf x;\boldsymbol{\alpha}) = \frac{1}{B(\boldsymbol{\alpha})} \prod_{i=1}^{K}x_i^{\alpha_i-1},

则称其服从狄利克雷分布,记作

X∼Dir⁡(α),\mathbf X\sim\operatorname{Dir}(\boldsymbol{\alpha}),

归一化常数为多元贝塔函数:

B(α)=∏i=1KΓ(αi)Γ(α0),α0=∑i=1Kαi,B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^{K}\Gamma(\alpha_i)} {\Gamma(\alpha_0)}, \qquad \alpha_0=\sum_{i=1}^{K}\alpha_i,

其中 Γ\Gamma 为伽马函数。

通常,这一密度是相对于坐标 x1,…,xK−1x_1,\ldots,x_{K-1} 定义的,其中

xK=1−∑i=1K−1xi.x_K=1-\sum_{i=1}^{K-1}x_i.

它并非相对于 KK 维体积的密度,因为该单纯形位于一个 (K−1)(K-1) 维超平面内。如果改为相对于欧几里得表面测度定义密度,则需要乘以一个常数进行调整。

当所有参数都严格为正时,所有分量都几乎必然严格为正。即便某个分量趋近于零时密度变得无界,边界上的概率仍为零。

当 K=2K=2 时,第一个分量满足

X1∼Beta⁡(α1,α2),X2=1−X1.X_1\sim\operatorname{Beta}(\alpha_1,\alpha_2), \qquad X_2=1-X_1.

参数的含义与分布形状

一种实用的参数化方式是将均值向量与总集中度分开:

αi=s mi,mi>0,∑imi=1,s=α0.\alpha_i=s\,m_i, \qquad m_i>0,\quad \sum_i m_i=1,\quad s=\alpha_0.

向量 m\mathbf m 指定各比例的期望值,而 ss 控制其离散程度。保持 m\mathbf m 不变时,增大 ss 会使分布更集中于 m\mathbf m 周围;减小 ss 则会使更多概率分布在靠近边界的位置。

各个参数决定了分布在边界附近的行为:

  • 若 αi>1\alpha_i>1,当 xix_i 趋近于零,而其他坐标仍远离各自的边界时,密度趋近于零。
  • 若 αi=1\alpha_i=1,则 xix_i 对应的幂次为零。
  • 若 0<αi<10<\alpha_i<1,当 xix_i 趋近于零时,密度发散。

对称狄利克雷分布的每个分量都满足 αi=a\alpha_i=a。其均值为各分量相等的向量 (1/K,…,1/K)(1/K,\ldots,1/K)。

  • 当 a=1a=1 时,分布在单纯形上均匀分布。
  • 当 a>1a>1 时,分布更偏向各分量相对均衡的向量。
  • 当 0<a<10<a<1 时,分布更偏向靠近边界的向量,这些向量往往只有少数较大的分量,而其余许多分量都很小。

“在单纯形上均匀分布”并不意味着每个坐标都服从均匀分布。当 K>2K>2 时,服从 Dir⁡(1,…,1)\operatorname{Dir}(1,\ldots,1) 的向量中,每个坐标的分布为 Beta⁡(1,K−1)\operatorname{Beta}(1,K-1)。

比较类别数不同的模型时,区分 aa 与总集中度 KaKa 非常重要。

矩与相依性

记 mi=αi/α0m_i=\alpha_i/\alpha_0,则均值与方差为

E[Xi]=mi,\mathbb E[X_i]=m_i,
Var⁡(Xi)=αi(α0−αi)α02(α0+1)=mi(1−mi)α0+1.\operatorname{Var}(X_i) = \frac{\alpha_i(\alpha_0-\alpha_i)} {\alpha_0^2(\alpha_0+1)} = \frac{m_i(1-m_i)}{\alpha_0+1}.

对于不同的分量,

Cov⁡(Xi,Xj)=−αiαjα02(α0+1)=−mimjα0+1.\operatorname{Cov}(X_i,X_j) = -\frac{\alpha_i\alpha_j} {\alpha_0^2(\alpha_0+1)} = -\frac{m_i m_j}{\alpha_0+1}.

因此,任意两个不同分量的协方差都为负。协方差矩阵可以简洁地写成

Cov⁡(X)=diag⁡(m)−mmTα0+1.\operatorname{Cov}(\mathbf X) = \frac{\operatorname{diag}(\mathbf m)-\mathbf m\mathbf m^\mathsf T} {\alpha_0+1}.

由于各坐标之和严格等于一,该矩阵是奇异矩阵。

更一般地,对于满足 αi+ri>0\alpha_i+r_i>0 的实数指数 rir_i,有

E[∏i=1KXiri]=Γ(α0)Γ ⁣(α0+∑iri)∏i=1KΓ(αi+ri)Γ(αi).\mathbb E\left[\prod_{i=1}^{K}X_i^{r_i}\right] = \frac{\Gamma(\alpha_0)} {\Gamma\!\left(\alpha_0+\sum_i r_i\right)} \prod_{i=1}^{K} \frac{\Gamma(\alpha_i+r_i)}{\Gamma(\alpha_i)}.

各比例的对数期望为

E[log⁡Xi]=ψ(αi)−ψ(α0),\mathbb E[\log X_i] = \psi(\alpha_i)-\psi(\alpha_0),

其中 ψ(t)=dlog⁡Γ(t)/dt\psi(t)=d\log\Gamma(t)/dt 为双伽马函数。这些期望会出现在参数估计和变分推断中。

如果所有参数都满足 αi>1\alpha_i>1,则密度在内部有唯一的众数:

ximode=αi−1α0−K.x_i^{\mathrm{mode}} = \frac{\alpha_i-1}{\alpha_0-K}.

当某些参数不大于一时,这个公式并不是普遍适用的众数公式。在这些情况下,密度的最大值或发散的极限值可能出现在边界处,众数也可能不唯一。

边缘分布、聚合与条件性质

狄利克雷分布族具有若干封闭性,使其很适合用于比例建模。

边缘分布

每个坐标都服从贝塔分布:

Xi∼Beta⁡(αi,α0−αi).X_i\sim \operatorname{Beta}(\alpha_i,\alpha_0-\alpha_i).

更一般地,对于分量索引集的任意非空真子集 AA,有

∑i∈AXi∼Beta⁡(∑i∈Aαi,∑i∉Aαi).\sum_{i\in A}X_i \sim \operatorname{Beta}\left( \sum_{i\in A}\alpha_i, \sum_{i\notin A}\alpha_i \right).

聚合

若 A1,…,AJA_1,\ldots,A_J 构成分量索引集的一个划分,且

Yj=∑i∈AjXi,Y_j=\sum_{i\in A_j}X_i,

则

(Y1,…,YJ)∼Dir⁡(∑i∈A1αi,…,∑i∈AJαi).(Y_1,\ldots,Y_J) \sim \operatorname{Dir}\left( \sum_{i\in A_1}\alpha_i,\ldots, \sum_{i\in A_J}\alpha_i \right).

因此,合并类别就相当于将相应参数相加。

归一化子向量

对于子集 AA,令 SA=∑i∈AXiS_A=\sum_{i\in A}X_i。归一化后的子向量满足

(XiSA)i∈A∼Dir⁡((αi)i∈A).\left(\frac{X_i}{S_A}\right)_{i\in A} \sim \operatorname{Dir}\bigl((\alpha_i)_{i\in A}\bigr).

它独立于 SAS_A,也独立于 AA 以外的各分量。这种很强的独立性结构通常用狄利克雷分布的中立性来描述。

伽马构造与模拟

一种基本构造利用相互独立的伽马分布随机变量。设

Yi∼Gamma⁡(αi,rate=β),i=1,…,K,Y_i\sim\operatorname{Gamma}(\alpha_i,\text{rate}=\beta), \qquad i=1,\ldots,K,

各变量相互独立,并具有共同的速率参数 β>0\beta>0。则

Xi=Yi∑jYjX_i=\frac{Y_i}{\sum_jY_j}

服从分布 Dir⁡(α)\operatorname{Dir}(\boldsymbol{\alpha})。

此外,

T=∑iYi∼Gamma⁡(α0,rate=β),T=\sum_iY_i\sim\operatorname{Gamma}(\alpha_0,\text{rate}=\beta),

且 TT 与 X\mathbf X 相互独立。共同的速率参数在归一化后消去。

由此得到一种标准的模拟方法:生成相互独立的伽马随机数,再将每个随机数除以它们的总和。对于非常小的形状参数,实现时需要格外小心,因为极小的伽马随机数可能在浮点运算中发生下溢。

另一种方法是有限折棍构造。独立抽取

Vi∼Beta⁡(αi,∑j=i+1Kαj),i=1,…,K−1,V_i\sim\operatorname{Beta} \left(\alpha_i,\sum_{j=i+1}^{K}\alpha_j\right), \qquad i=1,\ldots,K-1,

并令

Xi=Vi∏j<i(1−Vj),XK=∏j<K(1−Vj).X_i=V_i\prod_{j<i}(1-V_j), \qquad X_K=\prod_{j<K}(1-V_j).

每个 ViV_i 决定将剩余概率质量中的多大比例分配给分量 ii。

类别数据的贝叶斯推断

设 p=(p1,…,pK)\mathbf p=(p_1,\ldots,p_K) 是未知的类别概率向量。给定计数 n1,…,nKn_1,\ldots,n_K,其中 N=∑iniN=\sum_i n_i,由多项分布得到的似然与下式成正比:

L(p)∝∏ipini.L(\mathbf p)\propto\prod_i p_i^{n_i}.

若先验分布为

p∼Dir⁡(α1,…,αK),\mathbf p\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_K),

将其密度与上述似然相乘,便得到后验分布

p∣n∼Dir⁡(α1+n1,…,αK+nK).\mathbf p\mid\mathbf n \sim \operatorname{Dir}(\alpha_1+n_1,\ldots,\alpha_K+n_K).

这就是共轭关系。

后验均值为

E[pi∣n]=αi+niα0+N.\mathbb E[p_i\mid\mathbf n] = \frac{\alpha_i+n_i}{\alpha_0+N}.

当 N>0N>0 时,也可以将其写为

α0α0+Nαiα0+Nα0+NniN,\frac{\alpha_0}{\alpha_0+N}\frac{\alpha_i}{\alpha_0} + \frac{N}{\alpha_0+N}\frac{n_i}{N},

即先验均值与观测频率的加权平均。这使得 αi\alpha_i 可以被解释为先验伪计数,不过这种解释取决于所考察的是哪一种后验概括量。

对于来自类别分布的新观测,其后验预测分布给出的概率为

Pr⁡(Znew=i∣n)=αi+niα0+N.\Pr(Z_{\mathrm{new}}=i\mid\mathbf n) = \frac{\alpha_i+n_i}{\alpha_0+N}.

例如,若先验为 Dir⁡(1,1,1)\operatorname{Dir}(1,1,1),观测计数为 (8,1,1)(8,1,1),则后验为 Dir⁡(9,2,2)\operatorname{Dir}(9,2,2),预测概率为 (9/13,2/13,2/13)(9/13,2/13,2/13)。

将 p\mathbf p 积分消去后,得到狄利克雷–多项分布:

Pr⁡(n)=N!∏ini!Γ(α0)Γ(α0+N)∏iΓ(αi+ni)Γ(αi).\Pr(\mathbf n) = \frac{N!}{\prod_i n_i!} \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_0+N)} \prod_i \frac{\Gamma(\alpha_i+n_i)}{\Gamma(\alpha_i)}.

与概率固定的多项模型相比,它允许计数具有更大的变异性。

参数全为一的先验在单纯形上均匀分布,但它并不是唯一的无信息先验。对于多项模型,杰弗里斯先验为 Dir⁡(1/2,…,1/2)\operatorname{Dir}(1/2,\ldots,1/2)。将所有参数取为零,并不能得到一个正常的狄利克雷概率分布。

参数估计

给定相互独立的观测比例向量 x(1),…,x(M)\mathbf x^{(1)},\ldots,\mathbf x^{(M)},且其各分量都严格为正,对数似然为

ℓ(α)=M[log⁡Γ(α0)−∑ilog⁡Γ(αi)]+∑i(αi−1)∑m=1Mlog⁡xi(m).\ell(\boldsymbol{\alpha}) = M\left[ \log\Gamma(\alpha_0)-\sum_i\log\Gamma(\alpha_i) \right] + \sum_i(\alpha_i-1)\sum_{m=1}^{M}\log x_i^{(m)}.

最大似然估计方程为

ψ(αi)−ψ(α0)=1M∑m=1Mlog⁡xi(m).\psi(\alpha_i)-\psi(\alpha_0) = \frac{1}{M}\sum_{m=1}^{M}\log x_i^{(m)}.

这些方程通常需要使用牛顿法或不动点迭代等方法进行数值求解。求解过程中必须保持约束 αi>0\alpha_i>0。

观测中出现的精确零值需要单独处理:普通狄利克雷模型赋予这些值的概率为零,而且它们的对数无定义。由舍入或有限抽样产生的零值,不同于表示某些分量确实不可能出现的结构性零值。

应用与局限

狄利克雷分布可用于描述不确定的类别概率、混合权重、转移概率和组成比例。在潜在狄利克雷分配中,它常用作文档–主题概率向量和主题–词语概率向量的先验。狄利克雷过程推广了这一有限划分结构:对于任意有限可测划分,分配给各集合的概率所构成的向量都服从狄利克雷分布。

尽管便于处理,这一分布族仍有明显的限制:

  • 两两协方差为负。 任意两个不同分量都负相关。仅凭总和为一的约束,并不必然要求这一点;单纯形上的其他分布可以允许某些分量之间存在正相关关系。
  • 离散程度的结构受限。 一旦均值固定,所有分量的方差就都由单一的总集中度控制。
  • 不包含精确零值。 较小的参数可以生成非常小的比例,但不能使零值具有正概率。
  • 多峰建模的灵活性有限。 单个狄利克雷分布无法描述以多个彼此无关的内部位置为中心的任意组成数据簇。

替代方案包括狄利克雷混合分布、显式处理结构性零值的模型,以及逻辑斯蒂正态分布。后者将多元正态向量变换为比例向量,能够支持更丰富的相依结构。