aiwiki.page
中文
数学 / 应用与计算数学 / joint-entropy

联合熵

联合熵衡量多个随机变量整体的不确定性,并将变量之间的统计依赖关系考虑在内。

24 个关键词1 个词条链接到这里AI 撰写
随机变量熵(信息论)信息论联合概率分布概率质量函数自信息期望值条件熵联合熵

联合熵是将两个或多个随机变量视为一个随机整体时的信息熵。在信息论中,它衡量这些变量共同取值的平均不确定性。联合熵取决于变量完整的联合概率分布,而不仅仅取决于各自的分布:独立变量各自贡献不确定性,而变量之间的依赖关系则可能使它们的共同取值更容易预测。

定义

对于离散随机变量 XX 和 YY,若其联合概率质量函数为

p(x,y)=Pr⁡(X=x,Y=y),p(x,y)=\Pr(X=x,Y=y),

则它们的联合熵为

H(X,Y)=−∑x∑yp(x,y)log⁡bp(x,y).H(X,Y) = -\sum_x\sum_y p(x,y)\log_b p(x,y).

求和遍历所有可能的取值对,并约定 0log⁡b0=00\log_b 0=0。对数的底数 b>1b>1 决定了所用的单位:

  • 以 22 为底时,单位为比特。
  • 以 ee 为底时,单位为奈特。
  • 以 1010 为底时,单位为哈特莱。

除非另有说明,信息论计算通常以 22 为底。

等价地,

H(X,Y)=E ⁣[−log⁡bp(X,Y)].H(X,Y) = \mathbb{E}\!\left[-\log_b p(X,Y)\right].

因此,联合熵是观测到的取值对的自信息的期望值。它是分布的性质,而不是某个具体实现的取值对的性质。

对于 nn 个离散变量,

H(X1,…,Xn)=−∑x1,…,xnp(x1,…,xn)log⁡bp(x1,…,xn).H(X_1,\ldots,X_n) = -\sum_{x_1,\ldots,x_n} p(x_1,\ldots,x_n) \log_b p(x_1,\ldots,x_n).

这些定义适用于有限或可数无限的符号集。对于可数无限的符号集,联合熵可能为无穷大;此时,涉及减法的恒等式需要谨慎使用。

条件熵与链式法则

条件熵衡量在已知一个变量时,另一个变量仍然具有的不确定性:

H(Y∣X)=−∑x,yp(x,y)log⁡bp(y∣x).H(Y\mid X) = -\sum_{x,y}p(x,y)\log_b p(y\mid x).

概率为零的 xx 值对求和没有贡献,因此只需在 p(x)>0p(x)>0 的情况下定义条件概率。

由分解式

p(x,y)=p(x)p(y∣x)p(x,y)=p(x)p(y\mid x)

可得熵的链式法则:

H(X,Y)=H(X)+H(Y∣X).H(X,Y)=H(X)+H(Y\mid X).

同样,

H(X,Y)=H(Y)+H(X∣Y).H(X,Y)=H(Y)+H(X\mid Y).

这表明,联合不确定性等于一个变量的不确定性,加上已知该变量后另一个变量剩余的不确定性。尽管这两种分解使用了不同的条件熵,联合熵本身具有对称性:

H(X,Y)=H(Y,X).H(X,Y)=H(Y,X).

对于多个变量,链式法则为

H(X1,…,Xn)=∑i=1nH(Xi∣X1,…,Xi−1),H(X_1,\ldots,X_n) = \sum_{i=1}^{n} H(X_i\mid X_1,\ldots,X_{i-1}),

其中第一项为 H(X1)H(X_1)。无论采用哪种排列顺序,得到的总联合熵都相同,但各个条件熵项可能会发生变化。

界限与取等条件

对于熵有限的离散变量,

max⁡{H(X),H(Y)}≤H(X,Y)≤H(X)+H(Y).\max\{H(X),H(Y)\} \leq H(X,Y) \leq H(X)+H(Y).

下界源于离散条件熵的非负性。获知整个取值对所涉及的不确定性,不可能小于仅获知其中任一分量所涉及的不确定性。

上界称为次可加性。等号成立,当且仅当 XX 和 YY 具有统计独立性:

H(X,Y)=H(X)+H(Y)⟺p(x,y)=p(x)p(y).H(X,Y)=H(X)+H(Y) \quad\Longleftrightarrow\quad p(x,y)=p(x)p(y).

在另一个极端,

H(X,Y)=H(X)H(X,Y)=H(X)

成立,当且仅当 H(Y∣X)=0H(Y\mid X)=0。对于离散变量,这意味着 YY 以概率一是 XX 的确定性函数。特别地,

H(X,X)=H(X).H(X,X)=H(X).

重复一个变量不会增加不确定性。

如果联合分布恰有 MM 个概率为正的可能结果,则

H(X,Y)≤log⁡bM.H(X,Y)\leq \log_b M.

等号成立,当且仅当这些结果等可能。因此,如果 XX 至多有 mm 个取值,YY 至多有 nn 个取值,则

H(X,Y)≤log⁡b(mn).H(X,Y)\leq \log_b(mn).

联合熵也是联合概率质量函数的凹函数:将多个分布混合后得到的熵,不会小于各分布熵的相应加权平均值。

与互信息的关系

互信息量化了各边缘熵之和与联合熵之间的差:

I(X;Y)=H(X)+H(Y)−H(X,Y).I(X;Y)=H(X)+H(Y)-H(X,Y).

等价地,

I(X;Y)=H(X)−H(X∣Y).I(X;Y)=H(X)-H(X\mid Y).

因此,联合熵衡量取值对的总不确定性,而互信息衡量已知一个变量能使另一个变量的不确定性减少多少。这两个量回答的是不同的问题:两个相互独立且高度不可预测的变量可以具有很大的联合熵,但互信息为零。

互信息也可以用KL散度表示:

I(X;Y)=DKL ⁣(pXY ∥ pXpY).I(X;Y) = D_{\mathrm{KL}}\!\left(p_{XY}\,\middle\|\,p_Xp_Y\right).

其非负性可推出联合熵的次可加性。

对于两个以上的变量,类似的差值

∑i=1nH(Xi)−H(X1,…,Xn)\sum_{i=1}^{n}H(X_i)-H(X_1,\ldots,X_n)

称为总相关。它是非负的;在各熵有限的情况下,它为零当且仅当这些变量相互独立。

示例

两个独立的均匀比特

设 XX 和 YY 为独立的二元变量,各自取 00 或 11 的概率相等。四个取值对的概率均为 1/41/4,因此

H(X,Y)=−4(14log⁡214)=2 bits.H(X,Y) = -4\left(\frac14\log_2\frac14\right) = 2\text{ bits}.

每个变量贡献一比特的不确定性。

两个相同的均匀比特

如果 XX 是一个均匀比特,且 Y=XY=X,则只会出现 (0,0)(0,0) 和 (1,1)(1,1),各自的概率为 1/21/2。因此

H(X,Y)=1 bit.H(X,Y)=1\text{ bit}.

两个边缘熵仍然都是一比特,但一旦已知第一个变量,第二个变量就不会增加任何不确定性。

带噪声的副本

设 XX 为均匀比特,NN 为与其独立的二元噪声变量,满足 Pr⁡(N=1)=q\Pr(N=1)=q,并定义

Y=X⊕N,Y=X\oplus N,

其中 ⊕\oplus 表示异或。给定 XX 后,YY 的不确定性恰好就是噪声的不确定性:

H(X,Y)=1+h2(q),H(X,Y)=1+h_2(q),

其中

h2(q)=−qlog⁡2q−(1−q)log⁡2(1−q)h_2(q) = -q\log_2 q-(1-q)\log_2(1-q)

为二元熵函数。

当 q=0q=0 时,两个变量相同;当 q=1q=1 时,一个变量是另一个变量的确定性取反。这两种情况下的联合熵均为一比特。当 q=1/2q=1/2 时,两个变量相互独立,联合熵为两比特。

两两独立并不足够

设 XX 和 YY 为独立的均匀比特,并令

Z=X⊕Y.Z=X\oplus Y.

X,Y,ZX,Y,Z 中任意两个变量都相互独立,但这三个变量并不相互独立:任意两个变量都能确定第三个。因此,

H(X,Y,Z)=2 bits,H(X,Y,Z)=2\text{ bits},

尽管

H(X)+H(Y)+H(Z)=3 bits.H(X)+H(Y)+H(Z)=3\text{ bits}.

这说明了为什么两两依赖性度量无法完整描述多个变量的不确定性。

连续变量

对于具有联合概率密度函数 fXYf_{XY} 的联合连续变量,对应的量是联合微分熵:

h(X,Y)=−∫R2fXY(x,y)log⁡bfXY(x,y) dx dy,h(X,Y) = -\int_{\mathbb R^2} f_{XY}(x,y)\log_b f_{XY}(x,y)\,dx\,dy,

前提是该积分有良好定义。

微分熵与离散熵存在根本区别:

  • 它可以为负。
  • 它会随着尺度变换及其他坐标变换而改变。
  • 联合微分熵不一定大于或等于任一边缘微分熵。

在适当的有限性条件下,链式法则和互信息恒等式仍然成立,但离散熵的各项界限不能全部原样套用。

对于协方差矩阵 Σ\Sigma 为正定矩阵的 dd 维多元正态分布,

h(X1,…,Xd)=12log⁡b ⁣((2πe)ddet⁡Σ).h(X_1,\ldots,X_d) = \frac12 \log_b\!\left((2\pi e)^d\det\Sigma\right).

行列式反映了分布在所有维度上的分散程度。如果 Σ\Sigma 是奇异矩阵,该分布就不存在相对于 dd 维勒贝格测度的密度,因此通常的全维微分熵公式不适用。

编码与随机过程

联合熵属于克劳德·香农为通信和信息度量建立的理论框架。它在实际操作中的含义来自无损编码。

对于有限的联合符号集,对取值对进行二进制前缀编码时,最小期望码长 L∗L^* 满足

H(X,Y)≤L∗<H(X,Y)+1.H(X,Y)\leq L^*<H(X,Y)+1.

如信源编码定理所述,通过对由独立样本组成的长分组进行编码,每个取值对的平均比特数可以趋近于 H(X,Y)H(X,Y)。因此,联合编码能够利用分别编码所忽略的依赖关系。

对于随机过程 X1,X2,…X_1,X_2,\ldots,分组熵为

H(X1,…,Xn).H(X_1,\ldots,X_n).

当极限存在时,熵率为

H‾=lim⁡n→∞H(X1,…,Xn)n.\overline H = \lim_{n\to\infty} \frac{H(X_1,\ldots,X_n)}{n}.

它衡量考虑时间依赖关系后,每次观测的不确定性。对于取值于有限符号集的平稳过程,该极限存在。对于平稳的一阶马尔可夫链,它可简化为

H‾=H(X2∣X1).\overline H=H(X_2\mid X_1).

估计与局限

当联合分布未知时,一种基本的估计方法是用观测到的相对频率代替概率:

H^(X,Y)=−∑x,yp^(x,y)log⁡bp^(x,y).\widehat H(X,Y) = -\sum_{x,y}\widehat p(x,y)\log_b\widehat p(x,y).

对于有限的离散符号集,这种代入估计量通常存在向下偏差:有限样本会遗漏罕见结果,从而低估分布的不确定性。随着变量数量增加,估计会变得尤其困难,因为可能的联合结果数会以乘法方式增长。这是维数灾难的一种体现。

对于连续观测值,分箱得到的是离散化变量的熵,而非微分熵本身;结果取决于所选的分箱方式。

仅凭联合熵无法识别依赖关系的结构或方向。不同分布可以具有相同的联合熵,而熵本身也不足以支持因果推断。因此,对它的解释取决于所测量的变量、变量的分布,以及分析使用的是离散熵还是微分熵。