詹森–香农散度用于衡量两个概率分布之间的差异。它取各分布到二者共同混合分布的KL散度的平均值。与KL散度不同,它具有对称性,而且始终有限,即使两个分布赋予正概率的结果完全不同也不例外。它的平方根满足距离的各项公理,因此广泛用于信息论、统计比较和机器学习。
定义
对于同一可测空间上的两个概率分布 P 和 Q,将其等权混合分布定义为
M=2P+Q.
它们的詹森–香农散度为
JS(P,Q)=21DKL(P∥M)+21DKL(Q∥M).
对于概率质量分别为 pi 和 qi 的离散分布,上式可写为
JS(P,Q)=21i∑pilogpi+qi2pi+21i∑qilogpi+qi2qi.
分子为零的项定义为零。特别地,满足 pi=qi=0 的结果对散度没有贡献。
对于相对于同一控制测度 μ 具有概率密度函数 p 和 q 的分布,相应的表达式为
JS(P,Q)=21∫plogp+q2pdμ+21∫qlogp+q2qdμ.
更一般地,该定义使用拉东—尼科迪姆导数。无论 P 和 Q 是否相互绝对连续,它们都相对于 M 绝对连续。
对数约定
对数的底决定数值的尺度:
- 以 2 为底时,单位为比特,最大值为 1。
- 使用自然对数时,单位为奈特,最大值为 ln2。
除非另有说明,理论公式通常使用自然对数。改变对数的底相当于将散度乘以一个常数,不会改变各对分布之间差异大小的相对次序。
熵表示
对于有限离散分布,散度也可以用信息熵(香农熵)表示:
JS(P,Q)=H(2P+Q)−21H(P)−21H(Q),
其中
H(P)=−i∑pilogpi.
因此,该散度表示混合分布的熵相对于各分布平均熵的增量。由詹森不等式表述的熵的凹性可知,这一量非负。
对于无限字母表或连续分布,使用这一熵差公式时需要谨慎。如果其中各项为无穷大或因其他原因无定义,就不能将它们相减。通过KL散度给出的定义仍然是良定义的。当相关各项均有限时,使用微分熵的类似表达式成立。
基本性质
非负性与对称性
该散度满足
JS(P,Q)≥0,
且等号成立当且仅当 P=Q,这里的相等是指概率测度相等。它还具有对称性:
JS(P,Q)=JS(Q,P).
对称性使它区别于通常不对称的KL散度。
有界性与支撑集不匹配
使用自然对数时,
0≤JS(P,Q)≤ln2.
这一上界源于 M≥P/2 和 M≥Q/2,因此两个KL散度项中的密度比都不可能超过 2。
当且仅当 P 和 Q 相互奇异时,散度达到上界:存在一个可测集,一个分布赋予它的概率为 1,另一个分布赋予它的概率为 0。对于离散分布,这意味着两者具有正概率的取值集合互不相交。
因此,一个分布中的零概率不会使詹森–香农散度变为无穷大。仅为保证总体层面的散度有限,无须进行平滑处理。
平方根是一种度量
詹森–香农距离定义为
dJS(P,Q)=JS(P,Q).
它满足三角不等式:
dJS(P,R)≤dJS(P,Q)+dJS(Q,R).
结合对称性和同一性,这使它成为概率分布上的一种度量。
散度本身通常不满足三角不等式。这个区别很重要,因为某些名为“Jensen–Shannon”的软件函数返回的是散度的平方根,而不是散度本身。
例如,使用以 2 为底的对数,并令
P=(1,0),Q=(1/2,1/2),R=(0,1),
则有
JS(P,R)=1,
以及
JS(P,Q)=JS(Q,R)≈0.311278.
因此,两个较小散度之和小于第三个散度,而它们的平方根则满足三角不等式。
互信息解释
该散度可以直接用互信息来解释。
设 Z 是一个二元随机变量,以相等概率选择两个来源之一。在 Z=0 的条件下,从 P 中抽取观测值 X;在 Z=1 的条件下,从 Q 中抽取观测值 X。X 的边缘分布为 M,并且
JS(P,Q)=I(Z;X).
因此,该散度衡量观察一个样本能够提供多少关于其生成来源的信息。
- 若 P=Q,观测值不提供任何关于来源的信息。
- 若两个分布相互奇异,则观测值以概率 1 确定其来源。
- 介于两者之间的值量化了关于来源身份的部分信息。
这也解释了其上界:观测值所能揭示的来源信息,不可能超过来源标签本身的熵;在等权二元情形下,该熵为一比特。
加权形式与多分布形式
对于权重 0<α<1,定义
Mα=αP+(1−α)Q
以及
JSα(P,Q)=αDKL(P∥Mα)+(1−α)DKL(Q∥Mα).
其上界为混合权重的二元熵:
JSα(P,Q)≤−αlogα−(1−α)log(1−α).
当固定的 α=1/2 时,这一表达式通常关于 P 和 Q 不对称。它满足的是
JSα(P,Q)=JS1−α(Q,P).
对于分布 P1,…,Pk 及总和为 1 的非负权重 wi,令
M=i=1∑kwiPi.
广义散度为
JSw(P1,…,Pk)=i=1∑kwiDKL(Pi∥M).
当各熵项均有限时,它等于
H(M)−i=1∑kwiH(Pi).
它是分量标签与从该分量中抽取的观测值之间的互信息,其上界为权重的熵。
局部行为与统计几何
对于彼此接近的分布,詹森–香农散度近似表现为距离的二次型。
在固定的有限字母表上,假设 pi>0、qi=pi+δi,且 ∑iδi=0。使用自然对数,通过泰勒级数展开可得
JS(P,Q)=81i∑piδi2+O(∥δ∥3).
对于满足充分正则性条件的参数族 Pθ,上式变为
JS(Pθ,Pθ+Δθ)=81ΔθTI(θ)Δθ+o(∥Δθ∥2),
其中 I(θ) 是费希尔信息矩阵。
多种信息论散度都具有相同的局部二次结构,尽管它们的全局性质各不相同。这些展开需要满足正则性条件,不能不加区分地用于概率为零的边界处。
应用
比较经验分布
詹森–香农散度可用于比较归一化直方图、类别频率、词语分布及其他概率表示。它的对称性和有界取值范围便于解释比较结果,而其平方根所构成的度量可用于聚类分析和基于距离的可视化。
被比较的分布必须对应同一个结果空间。对于直方图,分箱定义必须一致;对于文本,词汇类别必须匹配。这些选择可能对结果产生显著影响。
生成对抗学习
在最初的生成对抗网络形式中,判别器最大化
V(D,G)=EX∼P[logD(X)]+EX∼QG[log(1−D(X))],
其中 P 是数据分布,QG 是生成器分布。
对于固定的生成器和不受限制的最优判别器,
DmaxV(D,G)=−ln4+2JS(P,QG).
这一恒等式将理想化的极小极大目标与散度最小化联系起来。但这并不意味着实际训练会精确计算该散度:判别器的表达能力有限,优化并不完美,而且常用的生成器目标也不同于最初的极小极大损失。
估计、计算与局限
对于有限概率向量,直接计算所需的时间与类别数成正比。可靠的实现会要求各项非负、检查归一化情况,并显式处理零概率项。对数域运算和专门设计的零值安全函数可以改善数值稳定性。
以下几项局限仍然值得重视:
- 抽样不确定性: 经验分布之间的散度不等于生成这些样本的分布之间的散度。样本稀疏、类别众多都可能显著影响估计结果。
- 对表示方式的依赖: 分箱、类别合并和密度估计会改变被比较的分布。对两个分布施加相同的可测变换,不会增大它们的詹森–香农散度。
- 不自带结果空间的几何结构: 无论位置相距多近或多远,集中在不同点上的点质量分布之间的散度都达到最大值。该散度不考虑底层的物理距离或语义距离。
- 奇异分布下的饱和: 相互奇异的分布之间的散度均达到最大值。当模型将概率质量分配在互不相交的集合上时,这可能限制该散度作为优化目标函数的作用。
- 不自动具有显著性含义: 一个散度数值既不是两个分布存在差异的概率,也不是P值。统计推断还需要额外的抽样模型或检验程序。
历史发展
林建华(Jianhua Lin)于1991年以“詹森–香农散度”之名提出了这一概念,发展了与早期信息半径构造相关的、基于熵的度量。其名称同时体现了詹森不等式和香农熵。多米尼克·恩德雷斯(Dominik Endres)和约翰内斯·辛德林(Johannes Schindelin)于2003年发表的研究证明了其平方根的度量性质。