库尔贝克–莱布勒散度

库尔贝克–莱布勒散度通常简称为 KL散度，是一种衡量两个概率分布之间差异的有向度量。它表示两个分布的概率比值的对数在第一个分布下的期望。它在信息论、统计学和机器学习中占有重要地位，也称为相对熵。所罗门·库尔贝克和理查德·莱布勒在1951年的论文《论信息与充分性》中提出了这一度量。虽然人们常把它非正式地称为距离，但它并不是数学意义上的距离度量。(www-ee.stanford.edu)

定义

对于定义在同一个有限或可数集合上的离散分布 $P$ 和 $Q$ ，若其概率质量函数分别为 $p(x)$ 和 $q(x)$ ，则

D_{\mathrm{KL}}(P\|Q) =\sum_x p(x)\log\frac{p(x)}{q(x)}.

两个分布的顺序很重要：权重取自 $P$ ，而 $Q$ 提供用于比较的概率。当 $p(x)=0$ 时，相应项的贡献为零，即使同时有 $q(x)=0$ 也是如此。如果 $p(x)>0$ 而 $q(x)=0$ ，则散度为无穷大。采用自然对数时，单位称为奈特；采用以2为底的对数时，单位为比特。改变对数的底，只会使结果乘上一个常数因子。(web.stanford.edu)

对于相对于同一参考测度具有密度的连续分布，

D_{\mathrm{KL}}(P\|Q) =\int p(x)\log\frac{p(x)}{q(x)}\,dx.

在测度论中，一般定义使用拉东–尼科迪姆导数：

D_{\mathrm{KL}}(P\|Q) =\int\log\!\left(\frac{dP}{dQ}\right)dP,

前提是 $P$ 关于 $Q$ 绝对连续；否则，散度为无穷大。绝对连续意味着，任何在 $Q$ 下概率为零的事件，在 $P$ 下的概率也为零。即使满足这一条件，积分仍可能发散。(www-ee.stanford.edu)

信息论解释

KL散度是对数似然比在 $P$ 下的期望值。如果某个观测结果在 $P$ 下的概率高于在 $Q$ 下的概率，其贡献为正；反之，其贡献为负。因此，单项贡献可以为负，但总体期望不可能为负。(web.stanford.edu)

对于相关熵均为有限值的离散分布，KL散度将信息熵与交叉熵联系起来：

D_{\mathrm{KL}}(P\|Q)=H(P,Q)-H(P),

其中

H(P)=-\sum_xp(x)\log p(x),\qquad H(P,Q)=-\sum_xp(x)\log q(x).

在无损数据压缩中，这一差值表示：对由 $P$ 生成的结果，使用 $Q$ 的概率进行编码时，理想码长平均增加的量。实际采用整数码长的编码会产生取整开销，因此，这种解释对于理想码长和适当的渐近编码情形是精确的，但并不适用于每一种具体编码。(theory.stanford.edu)

对于连续概率密度，类似的熵差恒等式需要满足适当的有限性条件。与微分熵不同，对两个分布施加同一个可逆坐标变换时，KL散度保持不变，因为密度变换产生的因子会在比值中相互抵消。(www-ee.stanford.edu)

数学性质

非负性通常表述为吉布斯不等式，即

D_{\mathrm{KL}}(P\|Q)\geq0,

且当且仅当 $P$ 与 $Q$ 作为概率测度相等时，等号成立。不过，KL散度通常不对称，也不满足三角不等式。因此，它与欧几里得距离有根本区别。(web.stanford.edu)

以下几项性质也使它在统计分析中十分有用：

**联合凸性：**将对应的分布对按相同权重混合后，所得散度不超过各分布对散度按这些权重得到的混合值。
**可加性：**对于独立的乘积分布，联合分布的散度等于各分量散度之和。
**数据处理：**对两个分布施加相同的可测变换或随机信道，不会增大它们的散度。

这些结果将KL散度与凸优化联系起来，并以严格的数学形式说明，信息的汇总或丢弃如何限制统计上的可区分性。(stanford.edu)

对于随机变量 $X$ 和 $Y$ ，互信息是一种特定的KL散度：

I(X;Y)=D_{\mathrm{KL}}(P_{XY}\|P_XP_Y).

它比较的是二者的联合分布与独立情形下的乘积分布。(stanford.edu)

方向与示例

考虑定义在两个可能结果上的分布 $P=(1,0)$ 和 $Q=(1/2,1/2)$ 。直接代入可得

D_{\mathrm{KL}}(P\|Q)=\log2, \qquad D_{\mathrm{KL}}(Q\|P)=\infty.

第二个结果之所以出现，是因为 $Q$ 对某个结果赋予了正概率，而 $P$ 则完全排除了该结果。这说明，交换两个参数不仅会改变权重，还会改变对分布支撑集的要求。

对于目标密度 $p$ 和受限的近似密度 $q$ ，最小化 $D_{\mathrm{KL}}(p\|q)$ 会惩罚在目标分布具有概率质量的地方赋予过低概率的情形。相比之下，最小化 $D_{\mathrm{KL}}(q\|p)$ 是在近似分布下取平均，并会严厉惩罚在目标密度极小的地方放置概率质量的情形。面对多峰目标分布，这两个方向分别可能使近似分布覆盖更多区域，或集中在某一个峰附近；具体表现取决于可用的近似分布族。(cs.columbia.edu)

统计学与机器学习中的应用

对于固定的数据分布，由于其熵项是常数，最小化交叉熵也就等同于最小化KL散度。因此，离散观测的最大似然估计可以表述为最小化从经验分布到模型分布的散度。分类任务通常利用这一关系，根据预测的类别概率构造损失函数。(nlp.stanford.edu)

在贝叶斯推断中，变分推断常通过最小化 $D_{\mathrm{KL}}(q(z)\|p(z\mid x))$ 来近似后验分布 $p(z\mid x)$ 。这等价于最大化证据下界：

\log p(x) =\operatorname{ELBO}(q) +D_{\mathrm{KL}}(q(z)\|p(z\mid x)).

这种表述避免了直接优化包含证据 $p(x)$ 的目标函数，因为证据通常难以计算。(cs.columbia.edu)

变分自编码器将重构项的期望与近似后验分布和潜变量先验分布之间的KL惩罚项结合起来。该惩罚项对潜在表示起到正则化作用。当两个分布均为适当形式的正态分布时，散度可以通过解析方式计算，而重构项的期望可能需要通过采样来估计。(arxiv.org)