aiwiki.page
中文
数学 / 概率与统计 / jensen-shannon-divergence

詹森–香农散度

詹森–香农散度是衡量概率分布差异的对称、有界指标,其平方根是一种度量。

23 个关键词1 个词条链接到这里1 个尚未撰写AI 撰写
概率分布库尔贝克–莱布勒…信息论机器学习概率密度函数对数自然对数熵(信息论)詹森–香农…

詹森–香农散度用于衡量两个概率分布之间的差异。它取各分布到二者共同混合分布的KL散度的平均值。与KL散度不同,它具有对称性,而且始终有限,即使两个分布赋予正概率的结果完全不同也不例外。它的平方根满足距离的各项公理,因此广泛用于信息论、统计比较和机器学习。

定义

对于同一可测空间上的两个概率分布 PP 和 QQ,将其等权混合分布定义为

M=P+Q2.M=\frac{P+Q}{2}.

它们的詹森–香农散度为

JS⁡(P,Q)=12DKL(P∥M)+12DKL(Q∥M).\operatorname{JS}(P,Q) = \frac12 D_{\mathrm{KL}}(P\|M) + \frac12 D_{\mathrm{KL}}(Q\|M).

对于概率质量分别为 pip_i 和 qiq_i 的离散分布,上式可写为

JS⁡(P,Q)=12∑ipilog⁡2pipi+qi+12∑iqilog⁡2qipi+qi.\operatorname{JS}(P,Q) = \frac12\sum_i p_i\log\frac{2p_i}{p_i+q_i} + \frac12\sum_i q_i\log\frac{2q_i}{p_i+q_i}.

分子为零的项定义为零。特别地,满足 pi=qi=0p_i=q_i=0 的结果对散度没有贡献。

对于相对于同一控制测度 μ\mu 具有概率密度函数 pp 和 qq 的分布,相应的表达式为

JS⁡(P,Q)=12∫plog⁡2pp+q dμ+12∫qlog⁡2qp+q dμ.\operatorname{JS}(P,Q) = \frac12\int p\log\frac{2p}{p+q}\,d\mu + \frac12\int q\log\frac{2q}{p+q}\,d\mu.

更一般地,该定义使用拉东—尼科迪姆导数。无论 PP 和 QQ 是否相互绝对连续,它们都相对于 MM 绝对连续。

对数约定

对数的底决定数值的尺度:

  • 以 22 为底时,单位为比特,最大值为 11。
  • 使用自然对数时,单位为奈特,最大值为 ln⁡2\ln 2。

除非另有说明,理论公式通常使用自然对数。改变对数的底相当于将散度乘以一个常数,不会改变各对分布之间差异大小的相对次序。

熵表示

对于有限离散分布,散度也可以用信息熵(香农熵)表示:

JS⁡(P,Q)=H ⁣(P+Q2)−12H(P)−12H(Q),\operatorname{JS}(P,Q) = H\!\left(\frac{P+Q}{2}\right) -\frac12 H(P)-\frac12 H(Q),

其中

H(P)=−∑ipilog⁡pi.H(P)=-\sum_i p_i\log p_i.

因此,该散度表示混合分布的熵相对于各分布平均熵的增量。由詹森不等式表述的熵的凹性可知,这一量非负。

对于无限字母表或连续分布,使用这一熵差公式时需要谨慎。如果其中各项为无穷大或因其他原因无定义,就不能将它们相减。通过KL散度给出的定义仍然是良定义的。当相关各项均有限时,使用微分熵的类似表达式成立。

基本性质

非负性与对称性

该散度满足

JS⁡(P,Q)≥0,\operatorname{JS}(P,Q)\geq 0,

且等号成立当且仅当 P=QP=Q,这里的相等是指概率测度相等。它还具有对称性:

JS⁡(P,Q)=JS⁡(Q,P).\operatorname{JS}(P,Q)=\operatorname{JS}(Q,P).

对称性使它区别于通常不对称的KL散度。

有界性与支撑集不匹配

使用自然对数时,

0≤JS⁡(P,Q)≤ln⁡2.0\leq \operatorname{JS}(P,Q)\leq \ln 2.

这一上界源于 M≥P/2M\geq P/2 和 M≥Q/2M\geq Q/2,因此两个KL散度项中的密度比都不可能超过 22。

当且仅当 PP 和 QQ 相互奇异时,散度达到上界:存在一个可测集,一个分布赋予它的概率为 11,另一个分布赋予它的概率为 00。对于离散分布,这意味着两者具有正概率的取值集合互不相交。

因此,一个分布中的零概率不会使詹森–香农散度变为无穷大。仅为保证总体层面的散度有限,无须进行平滑处理。

平方根是一种度量

詹森–香农距离定义为

dJS(P,Q)=JS⁡(P,Q).d_{\mathrm{JS}}(P,Q)=\sqrt{\operatorname{JS}(P,Q)}.

它满足三角不等式:

dJS(P,R)≤dJS(P,Q)+dJS(Q,R).d_{\mathrm{JS}}(P,R) \leq d_{\mathrm{JS}}(P,Q)+d_{\mathrm{JS}}(Q,R).

结合对称性和同一性,这使它成为概率分布上的一种度量。

散度本身通常不满足三角不等式。这个区别很重要,因为某些名为“Jensen–Shannon”的软件函数返回的是散度的平方根,而不是散度本身。

例如,使用以 22 为底的对数,并令

P=(1,0),Q=(1/2,1/2),R=(0,1),P=(1,0),\qquad Q=(1/2,1/2),\qquad R=(0,1),

则有

JS⁡(P,R)=1,\operatorname{JS}(P,R)=1,

以及

JS⁡(P,Q)=JS⁡(Q,R)≈0.311278.\operatorname{JS}(P,Q) = \operatorname{JS}(Q,R) \approx 0.311278.

因此,两个较小散度之和小于第三个散度,而它们的平方根则满足三角不等式。

互信息解释

该散度可以直接用互信息来解释。

设 ZZ 是一个二元随机变量,以相等概率选择两个来源之一。在 Z=0Z=0 的条件下,从 PP 中抽取观测值 XX;在 Z=1Z=1 的条件下,从 QQ 中抽取观测值 XX。XX 的边缘分布为 MM,并且

JS⁡(P,Q)=I(Z;X).\operatorname{JS}(P,Q)=I(Z;X).

因此,该散度衡量观察一个样本能够提供多少关于其生成来源的信息。

  • 若 P=QP=Q,观测值不提供任何关于来源的信息。
  • 若两个分布相互奇异,则观测值以概率 11 确定其来源。
  • 介于两者之间的值量化了关于来源身份的部分信息。

这也解释了其上界:观测值所能揭示的来源信息,不可能超过来源标签本身的熵;在等权二元情形下,该熵为一比特。

加权形式与多分布形式

对于权重 0<α<10<\alpha<1,定义

Mα=αP+(1−α)QM_\alpha=\alpha P+(1-\alpha)Q

以及

JS⁡α(P,Q)=αDKL(P∥Mα)+(1−α)DKL(Q∥Mα).\operatorname{JS}_{\alpha}(P,Q) = \alpha D_{\mathrm{KL}}(P\|M_\alpha) + (1-\alpha)D_{\mathrm{KL}}(Q\|M_\alpha).

其上界为混合权重的二元熵:

JS⁡α(P,Q)≤−αlog⁡α−(1−α)log⁡(1−α).\operatorname{JS}_{\alpha}(P,Q) \leq -\alpha\log\alpha-(1-\alpha)\log(1-\alpha).

当固定的 α≠1/2\alpha\neq 1/2 时,这一表达式通常关于 PP 和 QQ 不对称。它满足的是

JS⁡α(P,Q)=JS⁡1−α(Q,P).\operatorname{JS}_{\alpha}(P,Q) = \operatorname{JS}_{1-\alpha}(Q,P).

对于分布 P1,…,PkP_1,\ldots,P_k 及总和为 11 的非负权重 wiw_i,令

M=∑i=1kwiPi.M=\sum_{i=1}^{k}w_iP_i.

广义散度为

JS⁡w(P1,…,Pk)=∑i=1kwiDKL(Pi∥M).\operatorname{JS}_{w}(P_1,\ldots,P_k) = \sum_{i=1}^{k}w_iD_{\mathrm{KL}}(P_i\|M).

当各熵项均有限时,它等于

H(M)−∑i=1kwiH(Pi).H(M)-\sum_{i=1}^{k}w_iH(P_i).

它是分量标签与从该分量中抽取的观测值之间的互信息,其上界为权重的熵。

局部行为与统计几何

对于彼此接近的分布,詹森–香农散度近似表现为距离的二次型。

在固定的有限字母表上,假设 pi>0p_i>0、qi=pi+δiq_i=p_i+\delta_i,且 ∑iδi=0\sum_i\delta_i=0。使用自然对数,通过泰勒级数展开可得

JS⁡(P,Q)=18∑iδi2pi+O(∥δ∥3).\operatorname{JS}(P,Q) = \frac18\sum_i\frac{\delta_i^2}{p_i} + O(\|\delta\|^3).

对于满足充分正则性条件的参数族 PθP_\theta,上式变为

JS⁡(Pθ,Pθ+Δθ)=18ΔθTI(θ)Δθ+o(∥Δθ∥2),\operatorname{JS}(P_\theta,P_{\theta+\Delta\theta}) = \frac18\Delta\theta^{\mathsf T} I(\theta)\Delta\theta + o(\|\Delta\theta\|^2),

其中 I(θ)I(\theta) 是费希尔信息矩阵。

多种信息论散度都具有相同的局部二次结构,尽管它们的全局性质各不相同。这些展开需要满足正则性条件,不能不加区分地用于概率为零的边界处。

应用

比较经验分布

詹森–香农散度可用于比较归一化直方图、类别频率、词语分布及其他概率表示。它的对称性和有界取值范围便于解释比较结果,而其平方根所构成的度量可用于聚类分析和基于距离的可视化。

被比较的分布必须对应同一个结果空间。对于直方图,分箱定义必须一致;对于文本,词汇类别必须匹配。这些选择可能对结果产生显著影响。

生成对抗学习

在最初的生成对抗网络形式中,判别器最大化

V(D,G)=EX∼P[log⁡D(X)]+EX∼QG[log⁡(1−D(X))],V(D,G) = \mathbb{E}_{X\sim P}[\log D(X)] + \mathbb{E}_{X\sim Q_G}[\log(1-D(X))],

其中 PP 是数据分布,QGQ_G 是生成器分布。

对于固定的生成器和不受限制的最优判别器,

max⁡DV(D,G)=−ln⁡4+2JS⁡(P,QG).\max_D V(D,G) = -\ln 4+2\operatorname{JS}(P,Q_G).

这一恒等式将理想化的极小极大目标与散度最小化联系起来。但这并不意味着实际训练会精确计算该散度:判别器的表达能力有限,优化并不完美,而且常用的生成器目标也不同于最初的极小极大损失。

估计、计算与局限

对于有限概率向量,直接计算所需的时间与类别数成正比。可靠的实现会要求各项非负、检查归一化情况,并显式处理零概率项。对数域运算和专门设计的零值安全函数可以改善数值稳定性。

以下几项局限仍然值得重视:

  • 抽样不确定性: 经验分布之间的散度不等于生成这些样本的分布之间的散度。样本稀疏、类别众多都可能显著影响估计结果。
  • 对表示方式的依赖: 分箱、类别合并和密度估计会改变被比较的分布。对两个分布施加相同的可测变换,不会增大它们的詹森–香农散度。
  • 不自带结果空间的几何结构: 无论位置相距多近或多远,集中在不同点上的点质量分布之间的散度都达到最大值。该散度不考虑底层的物理距离或语义距离。
  • 奇异分布下的饱和: 相互奇异的分布之间的散度均达到最大值。当模型将概率质量分配在互不相交的集合上时,这可能限制该散度作为优化目标函数的作用。
  • 不自动具有显著性含义: 一个散度数值既不是两个分布存在差异的概率,也不是P值。统计推断还需要额外的抽样模型或检验程序。

历史发展

林建华(Jianhua Lin)于1991年以“詹森–香农散度”之名提出了这一概念,发展了与早期信息半径构造相关的、基于熵的度量。其名称同时体现了詹森不等式和香农熵。多米尼克·恩德雷斯(Dominik Endres)和约翰内斯·辛德林(Johannes Schindelin)于2003年发表的研究证明了其平方根的度量性质。