{
  "id": "joint-entropy",
  "title": "联合熵",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "联合熵衡量多个随机变量整体的不确定性，并将变量之间的统计依赖关系考虑在内。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "联合信息熵",
    "联合香农熵"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/joint-entropy/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/joint-entropy/",
      "json": "https://aiwiki.page/en/joint-entropy.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "联合熵是将两个或多个随机变量视为一个随机整体时的信息熵。在信息论中，它衡量这些变量共同取值的平均不确定性。联合熵取决于变量完整的联合概率分布，而不仅仅取决于各自的分布：独立变量各自贡献不确定性，而变量之间的依赖关系则可能使它们的共同取值更容易预测。"
    },
    {
      "heading": "定义",
      "text": "对于离散随机变量 \\(X\\) 和 \\(Y\\)，若其联合概率质量函数为\n\n\\[p(x,y)=\\Pr(X=x,Y=y),\\]\n\n则它们的联合熵为\n\n\\[H(X,Y) = -\\sum_x\\sum_y p(x,y)\\log_b p(x,y).\\]\n\n求和遍历所有可能的取值对，并约定 \\(0\\log_b 0=0\\)。对数的底数 \\(b>1\\) 决定了所用的单位：\n\n- 以 \\(2\\) 为底时，单位为比特。\n- 以 \\(e\\) 为底时，单位为奈特。\n- 以 \\(10\\) 为底时，单位为哈特莱。\n\n除非另有说明，信息论计算通常以 \\(2\\) 为底。\n\n等价地，\n\n\\[H(X,Y) = \\mathbb{E}\\!\\left[-\\log_b p(X,Y)\\right].\\]\n\n因此，联合熵是观测到的取值对的自信息的期望值。它是分布的性质，而不是某个具体实现的取值对的性质。\n\n对于 \\(n\\) 个离散变量，\n\n\\[H(X_1,\\ldots,X_n) = -\\sum_{x_1,\\ldots,x_n} p(x_1,\\ldots,x_n) \\log_b p(x_1,\\ldots,x_n).\\]\n\n这些定义适用于有限或可数无限的符号集。对于可数无限的符号集，联合熵可能为无穷大；此时，涉及减法的恒等式需要谨慎使用。"
    },
    {
      "heading": "条件熵与链式法则",
      "text": "条件熵衡量在已知一个变量时，另一个变量仍然具有的不确定性：\n\n\\[H(Y\\mid X) = -\\sum_{x,y}p(x,y)\\log_b p(y\\mid x).\\]\n\n概率为零的 \\(x\\) 值对求和没有贡献，因此只需在 \\(p(x)>0\\) 的情况下定义条件概率。\n\n由分解式\n\n\\[p(x,y)=p(x)p(y\\mid x)\\]\n\n可得熵的链式法则：\n\n\\[H(X,Y)=H(X)+H(Y\\mid X).\\]\n\n同样，\n\n\\[H(X,Y)=H(Y)+H(X\\mid Y).\\]\n\n这表明，联合不确定性等于一个变量的不确定性，加上已知该变量后另一个变量剩余的不确定性。尽管这两种分解使用了不同的条件熵，联合熵本身具有对称性：\n\n\\[H(X,Y)=H(Y,X).\\]\n\n对于多个变量，链式法则为\n\n\\[H(X_1,\\ldots,X_n) = \\sum_{i=1}^{n} H(X_i\\mid X_1,\\ldots,X_{i-1}),\\]\n\n其中第一项为 \\(H(X_1)\\)。无论采用哪种排列顺序，得到的总联合熵都相同，但各个条件熵项可能会发生变化。"
    },
    {
      "heading": "界限与取等条件",
      "text": "对于熵有限的离散变量，\n\n\\[\\max\\{H(X),H(Y)\\} \\leq H(X,Y) \\leq H(X)+H(Y).\\]\n\n下界源于离散条件熵的非负性。获知整个取值对所涉及的不确定性，不可能小于仅获知其中任一分量所涉及的不确定性。\n\n上界称为次可加性。等号成立，当且仅当 \\(X\\) 和 \\(Y\\) 具有统计独立性：\n\n\\[H(X,Y)=H(X)+H(Y) \\quad\\Longleftrightarrow\\quad p(x,y)=p(x)p(y).\\]\n\n在另一个极端，\n\n\\[H(X,Y)=H(X)\\]\n\n成立，当且仅当 \\(H(Y\\mid X)=0\\)。对于离散变量，这意味着 \\(Y\\) 以概率一是 \\(X\\) 的确定性函数。特别地，\n\n\\[H(X,X)=H(X).\\]\n\n重复一个变量不会增加不确定性。\n\n如果联合分布恰有 \\(M\\) 个概率为正的可能结果，则\n\n\\[H(X,Y)\\leq \\log_b M.\\]\n\n等号成立，当且仅当这些结果等可能。因此，如果 \\(X\\) 至多有 \\(m\\) 个取值，\\(Y\\) 至多有 \\(n\\) 个取值，则\n\n\\[H(X,Y)\\leq \\log_b(mn).\\]\n\n联合熵也是联合概率质量函数的凹函数：将多个分布混合后得到的熵，不会小于各分布熵的相应加权平均值。"
    },
    {
      "heading": "与互信息的关系",
      "text": "互信息量化了各边缘熵之和与联合熵之间的差：\n\n\\[I(X;Y)=H(X)+H(Y)-H(X,Y).\\]\n\n等价地，\n\n\\[I(X;Y)=H(X)-H(X\\mid Y).\\]\n\n因此，联合熵衡量取值对的总不确定性，而互信息衡量已知一个变量能使另一个变量的不确定性减少多少。这两个量回答的是不同的问题：两个相互独立且高度不可预测的变量可以具有很大的联合熵，但互信息为零。\n\n互信息也可以用KL散度表示：\n\n\\[I(X;Y) = D_{\\mathrm{KL}}\\!\\left(p_{XY}\\,\\middle\\|\\,p_Xp_Y\\right).\\]\n\n其非负性可推出联合熵的次可加性。\n\n对于两个以上的变量，类似的差值\n\n\\[\\sum_{i=1}^{n}H(X_i)-H(X_1,\\ldots,X_n)\\]\n\n称为总相关。它是非负的；在各熵有限的情况下，它为零当且仅当这些变量相互独立。"
    },
    {
      "heading": "示例",
      "text": "两个独立的均匀比特\n\n设 \\(X\\) 和 \\(Y\\) 为独立的二元变量，各自取 \\(0\\) 或 \\(1\\) 的概率相等。四个取值对的概率均为 \\(1/4\\)，因此\n\n\\[H(X,Y) = -4\\left(\\frac14\\log_2\\frac14\\right) = 2\\text{ bits}.\\]\n\n每个变量贡献一比特的不确定性。\n\n两个相同的均匀比特\n\n如果 \\(X\\) 是一个均匀比特，且 \\(Y=X\\)，则只会出现 \\((0,0)\\) 和 \\((1,1)\\)，各自的概率为 \\(1/2\\)。因此\n\n\\[H(X,Y)=1\\text{ bit}.\\]\n\n两个边缘熵仍然都是一比特，但一旦已知第一个变量，第二个变量就不会增加任何不确定性。\n\n带噪声的副本\n\n设 \\(X\\) 为均匀比特，\\(N\\) 为与其独立的二元噪声变量，满足 \\(\\Pr(N=1)=q\\)，并定义\n\n\\[Y=X\\oplus N,\\]\n\n其中 \\(\\oplus\\) 表示异或。给定 \\(X\\) 后，\\(Y\\) 的不确定性恰好就是噪声的不确定性：\n\n\\[H(X,Y)=1+h_2(q),\\]\n\n其中\n\n\\[h_2(q) = -q\\log_2 q-(1-q)\\log_2(1-q)\\]\n\n为二元熵函数。\n\n当 \\(q=0\\) 时，两个变量相同；当 \\(q=1\\) 时，一个变量是另一个变量的确定性取反。这两种情况下的联合熵均为一比特。当 \\(q=1/2\\) 时，两个变量相互独立，联合熵为两比特。\n\n两两独立并不足够\n\n设 \\(X\\) 和 \\(Y\\) 为独立的均匀比特，并令\n\n\\[Z=X\\oplus Y.\\]\n\n\\(X,Y,Z\\) 中任意两个变量都相互独立，但这三个变量并不相互独立：任意两个变量都能确定第三个。因此，\n\n\\[H(X,Y,Z)=2\\text{ bits},\\]\n\n尽管\n\n\\[H(X)+H(Y)+H(Z)=3\\text{ bits}.\\]\n\n这说明了为什么两两依赖性度量无法完整描述多个变量的不确定性。"
    },
    {
      "heading": "连续变量",
      "text": "对于具有联合概率密度函数 \\(f_{XY}\\) 的联合连续变量，对应的量是联合微分熵：\n\n\\[h(X,Y) = -\\int_{\\mathbb R^2} f_{XY}(x,y)\\log_b f_{XY}(x,y)\\,dx\\,dy,\\]\n\n前提是该积分有良好定义。\n\n微分熵与离散熵存在根本区别：\n\n- 它可以为负。\n- 它会随着尺度变换及其他坐标变换而改变。\n- 联合微分熵不一定大于或等于任一边缘微分熵。\n\n在适当的有限性条件下，链式法则和互信息恒等式仍然成立，但离散熵的各项界限不能全部原样套用。\n\n对于协方差矩阵 \\(\\Sigma\\) 为正定矩阵的 \\(d\\) 维多元正态分布，\n\n\\[h(X_1,\\ldots,X_d) = \\frac12 \\log_b\\!\\left((2\\pi e)^d\\det\\Sigma\\right).\\]\n\n行列式反映了分布在所有维度上的分散程度。如果 \\(\\Sigma\\) 是奇异矩阵，该分布就不存在相对于 \\(d\\) 维勒贝格测度的密度，因此通常的全维微分熵公式不适用。"
    },
    {
      "heading": "编码与随机过程",
      "text": "联合熵属于克劳德·香农为通信和信息度量建立的理论框架。它在实际操作中的含义来自无损编码。\n\n对于有限的联合符号集，对取值对进行二进制前缀编码时，最小期望码长 \\(L^*\\) 满足\n\n\\[H(X,Y)\\leq L^*<H(X,Y)+1.\\]\n\n如信源编码定理所述，通过对由独立样本组成的长分组进行编码，每个取值对的平均比特数可以趋近于 \\(H(X,Y)\\)。因此，联合编码能够利用分别编码所忽略的依赖关系。\n\n对于随机过程 \\(X_1,X_2,\\ldots\\)，分组熵为\n\n\\[H(X_1,\\ldots,X_n).\\]\n\n当极限存在时，熵率为\n\n\\[\\overline H = \\lim_{n\\to\\infty} \\frac{H(X_1,\\ldots,X_n)}{n}.\\]\n\n它衡量考虑时间依赖关系后，每次观测的不确定性。对于取值于有限符号集的平稳过程，该极限存在。对于平稳的一阶马尔可夫链，它可简化为\n\n\\[\\overline H=H(X_2\\mid X_1).\\]"
    },
    {
      "heading": "估计与局限",
      "text": "当联合分布未知时，一种基本的估计方法是用观测到的相对频率代替概率：\n\n\\[\\widehat H(X,Y) = -\\sum_{x,y}\\widehat p(x,y)\\log_b\\widehat p(x,y).\\]\n\n对于有限的离散符号集，这种代入估计量通常存在向下偏差：有限样本会遗漏罕见结果，从而低估分布的不确定性。随着变量数量增加，估计会变得尤其困难，因为可能的联合结果数会以乘法方式增长。这是维数灾难的一种体现。\n\n对于连续观测值，分箱得到的是离散化变量的熵，而非微分熵本身；结果取决于所选的分箱方式。\n\n仅凭联合熵无法识别依赖关系的结构或方向。不同分布可以具有相同的联合熵，而熵本身也不足以支持因果推断。因此，对它的解释取决于所测量的变量、变量的分布，以及分析使用的是离散熵还是微分熵。"
    }
  ],
  "links": [
    "random-variable",
    "information-entropy",
    "information-theory",
    "joint-probability-distribution",
    "probability-mass-function",
    "self-information",
    "expected-value",
    "conditional-entropy",
    "conditional-probability",
    "statistical-independence",
    "mutual-information",
    "kullback-leibler-divergence",
    "exclusive-or",
    "probability-density-function",
    "differential-entropy",
    "covariance-matrix",
    "multivariate-normal-distribution",
    "determinant",
    "claude-shannon",
    "source-coding-theorem",
    "stochastic-process",
    "markov-chain",
    "curse-of-dimensionality",
    "causal-inference"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}