联合熵是将两个或多个随机变量视为一个随机整体时的信息熵。在信息论中,它衡量这些变量共同取值的平均不确定性。联合熵取决于变量完整的联合概率分布,而不仅仅取决于各自的分布:独立变量各自贡献不确定性,而变量之间的依赖关系则可能使它们的共同取值更容易预测。
定义
对于离散随机变量 X 和 Y,若其联合概率质量函数为
p(x,y)=Pr(X=x,Y=y),
则它们的联合熵为
H(X,Y)=−x∑y∑p(x,y)logbp(x,y).
求和遍历所有可能的取值对,并约定 0logb0=0。对数的底数 b>1 决定了所用的单位:
- 以 2 为底时,单位为比特。
- 以 e 为底时,单位为奈特。
- 以 10 为底时,单位为哈特莱。
除非另有说明,信息论计算通常以 2 为底。
等价地,
H(X,Y)=E[−logbp(X,Y)].
因此,联合熵是观测到的取值对的自信息的期望值。它是分布的性质,而不是某个具体实现的取值对的性质。
对于 n 个离散变量,
H(X1,…,Xn)=−x1,…,xn∑p(x1,…,xn)logbp(x1,…,xn).
这些定义适用于有限或可数无限的符号集。对于可数无限的符号集,联合熵可能为无穷大;此时,涉及减法的恒等式需要谨慎使用。
条件熵与链式法则
条件熵衡量在已知一个变量时,另一个变量仍然具有的不确定性:
H(Y∣X)=−x,y∑p(x,y)logbp(y∣x).
概率为零的 x 值对求和没有贡献,因此只需在 p(x)>0 的情况下定义条件概率。
由分解式
p(x,y)=p(x)p(y∣x)
可得熵的链式法则:
H(X,Y)=H(X)+H(Y∣X).
同样,
H(X,Y)=H(Y)+H(X∣Y).
这表明,联合不确定性等于一个变量的不确定性,加上已知该变量后另一个变量剩余的不确定性。尽管这两种分解使用了不同的条件熵,联合熵本身具有对称性:
H(X,Y)=H(Y,X).
对于多个变量,链式法则为
H(X1,…,Xn)=i=1∑nH(Xi∣X1,…,Xi−1),
其中第一项为 H(X1)。无论采用哪种排列顺序,得到的总联合熵都相同,但各个条件熵项可能会发生变化。
界限与取等条件
对于熵有限的离散变量,
max{H(X),H(Y)}≤H(X,Y)≤H(X)+H(Y).
下界源于离散条件熵的非负性。获知整个取值对所涉及的不确定性,不可能小于仅获知其中任一分量所涉及的不确定性。
上界称为次可加性。等号成立,当且仅当 X 和 Y 具有统计独立性:
H(X,Y)=H(X)+H(Y)⟺p(x,y)=p(x)p(y).
在另一个极端,
H(X,Y)=H(X)
成立,当且仅当 H(Y∣X)=0。对于离散变量,这意味着 Y 以概率一是 X 的确定性函数。特别地,
H(X,X)=H(X).
重复一个变量不会增加不确定性。
如果联合分布恰有 M 个概率为正的可能结果,则
H(X,Y)≤logbM.
等号成立,当且仅当这些结果等可能。因此,如果 X 至多有 m 个取值,Y 至多有 n 个取值,则
H(X,Y)≤logb(mn).
联合熵也是联合概率质量函数的凹函数:将多个分布混合后得到的熵,不会小于各分布熵的相应加权平均值。
与互信息的关系
互信息量化了各边缘熵之和与联合熵之间的差:
I(X;Y)=H(X)+H(Y)−H(X,Y).
等价地,
I(X;Y)=H(X)−H(X∣Y).
因此,联合熵衡量取值对的总不确定性,而互信息衡量已知一个变量能使另一个变量的不确定性减少多少。这两个量回答的是不同的问题:两个相互独立且高度不可预测的变量可以具有很大的联合熵,但互信息为零。
互信息也可以用KL散度表示:
I(X;Y)=DKL(pXY∥pXpY).
其非负性可推出联合熵的次可加性。
对于两个以上的变量,类似的差值
i=1∑nH(Xi)−H(X1,…,Xn)
称为总相关。它是非负的;在各熵有限的情况下,它为零当且仅当这些变量相互独立。
示例
两个独立的均匀比特
设 X 和 Y 为独立的二元变量,各自取 0 或 1 的概率相等。四个取值对的概率均为 1/4,因此
H(X,Y)=−4(41log241)=2 bits.
每个变量贡献一比特的不确定性。
两个相同的均匀比特
如果 X 是一个均匀比特,且 Y=X,则只会出现 (0,0) 和 (1,1),各自的概率为 1/2。因此
H(X,Y)=1 bit.
两个边缘熵仍然都是一比特,但一旦已知第一个变量,第二个变量就不会增加任何不确定性。
带噪声的副本
设 X 为均匀比特,N 为与其独立的二元噪声变量,满足 Pr(N=1)=q,并定义
其中 ⊕ 表示异或。给定 X 后,Y 的不确定性恰好就是噪声的不确定性:
H(X,Y)=1+h2(q),
其中
h2(q)=−qlog2q−(1−q)log2(1−q)
为二元熵函数。
当 q=0 时,两个变量相同;当 q=1 时,一个变量是另一个变量的确定性取反。这两种情况下的联合熵均为一比特。当 q=1/2 时,两个变量相互独立,联合熵为两比特。
两两独立并不足够
设 X 和 Y 为独立的均匀比特,并令
X,Y,Z 中任意两个变量都相互独立,但这三个变量并不相互独立:任意两个变量都能确定第三个。因此,
H(X,Y,Z)=2 bits,
尽管
H(X)+H(Y)+H(Z)=3 bits.
这说明了为什么两两依赖性度量无法完整描述多个变量的不确定性。
连续变量
对于具有联合概率密度函数 fXY 的联合连续变量,对应的量是联合微分熵:
h(X,Y)=−∫R2fXY(x,y)logbfXY(x,y)dxdy,
前提是该积分有良好定义。
微分熵与离散熵存在根本区别:
- 它可以为负。
- 它会随着尺度变换及其他坐标变换而改变。
- 联合微分熵不一定大于或等于任一边缘微分熵。
在适当的有限性条件下,链式法则和互信息恒等式仍然成立,但离散熵的各项界限不能全部原样套用。
对于协方差矩阵 Σ 为正定矩阵的 d 维多元正态分布,
h(X1,…,Xd)=21logb((2πe)ddetΣ).
行列式反映了分布在所有维度上的分散程度。如果 Σ 是奇异矩阵,该分布就不存在相对于 d 维勒贝格测度的密度,因此通常的全维微分熵公式不适用。
编码与随机过程
联合熵属于克劳德·香农为通信和信息度量建立的理论框架。它在实际操作中的含义来自无损编码。
对于有限的联合符号集,对取值对进行二进制前缀编码时,最小期望码长 L∗ 满足
H(X,Y)≤L∗<H(X,Y)+1.
如信源编码定理所述,通过对由独立样本组成的长分组进行编码,每个取值对的平均比特数可以趋近于 H(X,Y)。因此,联合编码能够利用分别编码所忽略的依赖关系。
对于随机过程 X1,X2,…,分组熵为
H(X1,…,Xn).
当极限存在时,熵率为
H=n→∞limnH(X1,…,Xn).
它衡量考虑时间依赖关系后,每次观测的不确定性。对于取值于有限符号集的平稳过程,该极限存在。对于平稳的一阶马尔可夫链,它可简化为
H=H(X2∣X1).
估计与局限
当联合分布未知时,一种基本的估计方法是用观测到的相对频率代替概率:
H(X,Y)=−x,y∑p(x,y)logbp(x,y).
对于有限的离散符号集,这种代入估计量通常存在向下偏差:有限样本会遗漏罕见结果,从而低估分布的不确定性。随着变量数量增加,估计会变得尤其困难,因为可能的联合结果数会以乘法方式增长。这是维数灾难的一种体现。
对于连续观测值,分箱得到的是离散化变量的熵,而非微分熵本身;结果取决于所选的分箱方式。
仅凭联合熵无法识别依赖关系的结构或方向。不同分布可以具有相同的联合熵,而熵本身也不足以支持因果推断。因此,对它的解释取决于所测量的变量、变量的分布,以及分析使用的是离散熵还是微分熵。