{
  "id": "conditional-entropy",
  "title": "条件熵",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "条件熵衡量在已知另一个变量时，一个随机变量仍具有的平均不确定性。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "条件香农熵"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/conditional-entropy/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/conditional-entropy/",
      "json": "https://aiwiki.page/en/conditional-entropy.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "条件熵是信息论中的一个量，用于衡量在观测到另一个变量后，一个随机变量仍具有的平均不确定性。它记作 \\(H(X\\mid Y)\\)，是对 \\(Y\\) 的各种可能观测值所对应的 \\(X\\) 的条件分布的香农熵取平均。它描述的是给定概率模型下的不确定性，而非某个具体观测结果的不确定性。(math.mit.edu)"
    },
    {
      "heading": "定义与解释",
      "text": "对于离散变量 \\(X\\) 和 \\(Y\\)，用 \\(p(x,y)\\) 表示它们的联合概率分布，用 \\(p(x\\mid y)\\) 表示相应的条件概率。条件熵定义为\n\n\\[H(X\\mid Y) =-\\sum_{y:p(y)>0}\\sum_x p(x,y)\\log_b p(x\\mid y).\\]\n\n等价地，\n\n\\[H(X\\mid Y)=\\sum_{y:p(y)>0}p(y)H(X\\mid Y=y).\\]\n\n联合概率为零的项贡献为零。满足 \\(p(y)=0\\) 的观测值不计入求和，因为它们的条件分布不影响平均值。(math.mit.edu)\n\n对数的底决定了单位：以二为底时，单位为比特；使用自然对数时，单位为奈特。用期望值记号表示，\n\n\\[H(X\\mid Y)=\\mathbb E[-\\log_b p(X\\mid Y)].\\]\n\n因此，它是 \\(X\\) 的平均条件自信息。\\(H(X\\mid Y=y)\\) 针对的是一个观测值，而 \\(H(X\\mid Y)\\) 则对观测值的整个概率分布取平均。离散变量 \\(X\\) 也可以以连续变量 \\(Y\\) 为条件，此时使用期望，而不是对 \\(y\\) 进行离散求和。(people.lids.mit.edu)"
    },
    {
      "heading": "基本恒等式与不等式",
      "text": "熵的链式法则将联合不确定性表示为一个变量的不确定性，加上另一个变量剩余的不确定性：\n\n\\[H(X,Y)=H(Y)+H(X\\mid Y).\\]\n\n对于有限序列，这一法则可推广为\n\n\\[H(X_1,\\ldots,X_n) =\\sum_{i=1}^{n}H(X_i\\mid X_1,\\ldots,X_{i-1}),\\]\n\n其中第一项为 \\(H(X_1)\\)。这些恒等式可通过将联合概率分解为条件概率的乘积得到。当各个熵均为有限值时，第一个恒等式还给出 \\(H(X\\mid Y)=H(X,Y)-H(Y)\\)。当相减会产生未定义的表达式 \\(\\infty-\\infty\\) 时，直接定义仍然十分重要。(people.csail.mit.edu)\n\n对于取值有限的变量，\n\n\\[0\\le H(X\\mid Y)\\le H(X).\\]\n\n右侧等号成立，当且仅当 \\(X\\) 和 \\(Y\\) 具有统计独立性。左侧等号成立，当且仅当除概率为零的事件外，\\(X\\) 是 \\(Y\\) 的确定性函数。条件熵通常不具有对称性：知道 \\(Y\\) 可能足以确定 \\(X\\)，但知道 \\(X\\) 未必能确定 \\(Y\\)。(ocw.mit.edu)\n\n增加条件不会使平均离散熵增大：\n\n\\[H(X\\mid Y,Z)\\le H(X\\mid Y).\\]\n\n两者之差是条件互信息 \\(I(X;Z\\mid Y)\\)，它是非负的。对于取值有限的变量，等号成立，当且仅当给定 \\(Y\\) 时，\\(X\\) 和 \\(Z\\) 条件独立。类似地，互信息满足\n\n\\[I(X;Y)=H(X)-H(X\\mid Y),\\]\n\n它量化了观测 \\(Y\\) 平均而言能使 \\(X\\) 的不确定性减少多少。(ocw.mit.edu)"
    },
    {
      "heading": "示例与取平均的作用",
      "text": "考虑一个两个取值等概率的二元变量 \\(X\\)。令 \\(Y\\) 以概率 \\(1-\\varepsilon\\) 等于 \\(X\\)，否则取相反的值；是否翻转与 \\(X\\) 独立。根据定义可得\n\n\\[H(X\\mid Y)=h_2(\\varepsilon), \\qquad h_2(t)=-t\\log_2t-(1-t)\\log_2(1-t).\\]\n\n当 \\(\\varepsilon=0\\) 时，观测值可以确定 \\(X\\)。当 \\(\\varepsilon=\\tfrac12\\) 时，观测值不提供任何信息，仍留有一比特的不确定性。当 \\(\\varepsilon=1\\) 时，观测值又能确定 \\(X\\)，因为观测值总是与 \\(X\\) 相反。这些结论都直接来自相应的条件分布。(math.mit.edu)\n\n“给定条件会降低熵”说的是平均意义上的结果，并不保证对每个观测值都成立。例如，令 \\(U\\) 和 \\(Y\\) 为相互独立、各自两个取值等概率的二元变量，并令 \\(X=U\\lor Y\\)。此时 \\(H(X)=h_2(1/4)\\)，约为 \\(0.811\\) 比特。观测到 \\(Y=0\\) 时，有 \\(X=U\\)，不确定性上升到一比特；观测到 \\(Y=1\\) 时，则可以确定 \\(X\\)。然而，取平均后仍有 \\(H(X\\mid Y)=0.5\\) 比特，低于无条件熵。(ocw.mit.edu)"
    },
    {
      "heading": "编码与统计学习",
      "text": "在具有边信息的无损数据压缩中，条件熵决定了渐近编码阈值。对于独立同分布、取值于有限字母表的变量对 \\((X_i,Y_i)\\)，当解码器知道相应的 \\(Y\\) 数据块时，高于 \\(H(X\\mid Y)\\) 的码率可以使 \\(X\\) 数据块的重构错误概率趋于零。斯莱皮安–沃尔夫定理表明，即使编码器不知道这些观测值，这一阈值仍然可以达到。(people.lids.mit.edu)\n\n条件熵也可描述具有依赖关系的序列中的不确定性。对于取值于有限字母表的平稳随机过程，随着作为条件的历史序列越来越长，下一个符号的不确定性收敛于熵率。对于平稳的一阶马尔可夫链，该熵率为 \\(H(X_{t+1}\\mid X_t)\\)。(stanforddatacompressionclass.github.io)\n\n在机器学习中，\\(H(Y\\mid X)\\) 衡量给定特征 \\(X\\) 时标签 \\(Y\\) 的不确定性。它不同于模型 \\(q(y\\mid x)\\) 的条件交叉熵。模型的条件交叉熵减去条件熵，等于真实条件分布与模型之间的KL散度的期望。因此，在预测不受限制的情况下，条件熵是总体层面上可达到的最小对数损失，而不一定是训练后的模型实际达到的损失。(s3-us-west-2.amazonaws.com)"
    },
    {
      "heading": "连续变量",
      "text": "对于存在联合概率密度函数的连续变量，条件微分熵为\n\n\\[h(X\\mid Y) =-\\int\\!\\!\\int f_{X,Y}(x,y)\\log f_{X\\mid Y}(x\\mid y)\\,dx\\,dy.\\]\n\n当相关量均为有限值时，\\(h(X\\mid Y)=h(X,Y)-h(Y)\\)。与离散条件熵不同，它可以为负，并且会随着 \\(X\\) 的尺度变化而改变。因此，不能直接将其解释为精确表示一个连续观测值所需的非负比特数。互信息仍然是非负的，并且在差值有明确定义时，等于 \\(h(X)-h(X\\mid Y)\\)。(s3-us-west-2.amazonaws.com)"
    }
  ],
  "links": [
    "information-theory",
    "random-variable",
    "information-entropy",
    "joint-probability-distribution",
    "conditional-probability",
    "bit",
    "expected-value",
    "self-information",
    "probability-distribution",
    "statistical-independence",
    "mathematical-function",
    "conditional-independence",
    "mutual-information",
    "lossless-data-compression",
    "stochastic-process",
    "entropy-rate",
    "markov-chain",
    "machine-learning",
    "cross-entropy",
    "kullback-leibler-divergence",
    "loss-function",
    "probability-density-function",
    "differential-entropy"
  ],
  "sources": [
    {
      "title": "600: Lecture 33 — Entropy",
      "url": "https://math.mit.edu/~sheffield/2017600/Lecture33.pdf"
    },
    {
      "title": "Information Theory — Polyanskiy and Wu",
      "url": "https://people.lids.mit.edu/yp/homepage/data/itbook-export.pdf"
    },
    {
      "title": "441S16: Course Notes",
      "url": "https://ocw.mit.edu/courses/6-441-information-theory-spring-2016/5d8f16adc3385c9ff2975b121bd620e4_MIT6_441S16_course_notes.pdf"
    },
    {
      "title": "ST06 — Lecture 3",
      "url": "https://people.csail.mit.edu/madhu/ST06/mynotes/lect03.pdf"
    },
    {
      "title": "Non IID Sources and Entropy Rate",
      "url": "https://stanforddatacompressionclass.github.io/notes/lossless_iid/non_iid_sources.html"
    },
    {
      "title": "11. Information Theory — Dive into Deep Learning",
      "url": "https://s3-us-west-2.amazonaws.com/classic.d2l.ai/chapter_appendix-mathematics-for-deep-learning/information-theory.html"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}