{
  "id": "differential-entropy",
  "title": "微分熵",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "微分熵衡量连续概率分布相对于指定坐标尺度和参考测度的分散程度。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "连续熵",
    "连续香农熵"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/differential-entropy/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/differential-entropy/",
      "json": "https://aiwiki.page/en/differential-entropy.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "微分熵是信息论中的一个量，定义于分布具有概率密度的随机变量。它是离散信息熵（香农熵）在连续情形下的对应概念，但在若干重要方面有所不同：它可以为负，依赖测量尺度，而且在一般坐标变换下并不保持不变。它描述的是相对于参考测度的不确定性，而不是精确指定一个连续取值所需的绝对比特数。(web.stanford.edu)"
    },
    {
      "heading": "定义与存在性",
      "text": "设 \\(X\\) 的取值属于 \\(\\mathbb{R}^n\\)，相对于勒贝格测度的概率密度函数为 \\(f\\)。其微分熵定义为\n\n\\[h(X)=-\\int_{\\mathbb{R}^n}f(x)\\log f(x)\\,dx =-\\mathbb{E}[\\log f(X)].\\]\n\n这个积分按照概率分布本身，对密度的负对数取平均；第二个表达式将其写成期望值的形式。这里约定 \\(0\\log 0=0\\)。以二为底的对数给出以比特为单位的熵，自然对数则给出以奈特为单位的熵。(ocw.mit.edu)\n\n微分熵为有限值的一个充分条件是\n\n\\[\\int f(x)|\\log f(x)|\\,dx<\\infty.\\]\n\n微分熵也可能等于 \\(+\\infty\\) 或 \\(-\\infty\\)。如果定义中的被积函数的正部和负部的积分均为无穷大，则微分熵没有定义。对于不具有勒贝格密度的分布，包括离散分布和奇异连续分布，这种基于密度的定义不适用，因此它们没有此意义下的微分熵。可见，参考测度的选择本身就是这一数学构造的一部分。(ocw.mit.edu)"
    },
    {
      "heading": "示例与负值",
      "text": "对于区间 \\([a,b]\\) 上的均匀分布，设区间长度为 \\(L=b-a>0\\)，则\n\n\\[h(X)=\\log L.\\]\n\n因此，长度为一的区间上的均匀分布，其熵为零；长度小于一时，其熵为负。例如，\\([0,\\tfrac12]\\) 上的均匀分布的熵为 \\(-1\\) 比特。这并不意味着不确定性为负：与概率不同，密度可以大于一，因此密度的负对数可以为负。(web.stanford.edu)\n\n对于均值为 \\(\\mu\\)、方差为 \\(\\sigma^2>0\\) 的正态分布，\n\n\\[h(X)=\\frac12\\log(2\\pi e\\sigma^2).\\]\n\n这个表达式不含均值；随着标准差增大，熵按对数规律增长。这些例子也表明，微分熵衡量的是指定尺度上的分散程度，而不仅仅是可能取值的数量。(web.stanford.edu)"
    },
    {
      "heading": "对坐标的依赖",
      "text": "对于常数 \\(a\\ne0\\) 和 \\(b\\)，\n\n\\[h(aX+b)=h(X)+\\log|a|.\\]\n\n平移不改变熵，而缩放会改变熵。因此，用不同单位表示同一个物理测量量时，其微分熵的数值也会改变。进行比较时，必须采用一致的单位和坐标。(web.stanford.edu)\n\n更一般地，设 \\(Y=g(X)\\)，其中 \\(g\\) 是可逆的连续可微变换，其雅可比矩阵 \\(J_g\\) 非奇异。在适当的可积性条件下，\n\n\\[h(Y)=h(X)+ \\mathbb{E}\\!\\left[\\log|\\det J_g(X)|\\right].\\]\n\n对于可逆线性变换 \\(Y=AX\\)，修正项为 \\(\\log|\\det A|\\)，其中 \\(\\det A\\) 是 \\(A\\) 的行列式。这一修正项反映了变换引起的局部体积变化。因此，可逆变换能够保留所有可恢复的信息，同时改变微分熵。(ocw.mit.edu)"
    },
    {
      "heading": "联合熵、条件熵与信息",
      "text": "对于联合概率分布具有密度的变量，联合微分熵通过对所有坐标积分来定义。条件熵在连续情形下的对应概念是条件微分熵，它对条件密度的熵取平均：\n\n\\[h(X\\mid Y)=-\\mathbb{E}[\\log f_{X\\mid Y}(X\\mid Y)].\\]\n\n当相关量均为有限值时，熵的链式法则给出\n\n\\[h(X,Y)=h(Y)+h(X\\mid Y).\\]\n\n平均而言，给定条件不会增加微分熵；统计独立性则意味着 \\(h(X,Y)=h(X)+h(Y)\\)。与无条件微分熵一样，条件微分熵也可以为负。(ocw.mit.edu)\n\n通过KL散度定义互信息，在数学上更为稳健：\n\n\\[I(X;Y)=D(P_{XY}\\Vert P_X\\otimes P_Y).\\]\n\n当熵之差有明确定义时，它等于\n\n\\[I(X;Y)=h(X)-h(X\\mid Y).\\]\n\n互信息非负，并且在可逆、可测且逆映射也可测的重新编码下保持不变。同样，当两个分布同时经过相同的可逆坐标变换时，散度也保持不变，因为密度变换产生的因子在两者的比值中相互抵消。这些定义避免了无穷大熵相减所带来的问题。(ocw.mit.edu)"
    },
    {
      "heading": "最大熵性质",
      "text": "对于密度支撑于某个可测区域内的分布，若该区域的体积 \\(V\\) 有限且为正，则\n\n\\[h(X)\\le\\log V,\\]\n\n当密度在该区域上均匀分布时，等号成立。(ocw.mit.edu)\n\n在方差给定、有限且为正的实值分布中，高斯分布的微分熵最大。对于协方差矩阵 \\(\\Sigma\\) 正定的 \\(n\\) 维随机向量，\n\n\\[h(X)\\le \\frac12\\log\\!\\left((2\\pi e)^n\\det\\Sigma\\right),\\]\n\n当其服从多元正态分布时，等号成立。这些上界可通过将所考察的密度与相应的最大熵密度进行比较，并利用散度的非负性来推导。(web.stanford.edu)"
    },
    {
      "heading": "量化与编码",
      "text": "微分熵将连续分布与有限分辨率的描述联系起来。若 \\(Q_\\Delta(X)\\) 表示标量 \\(X\\) 所落入的宽度为 \\(\\Delta\\) 的区间，则在适当的正则性和有限性假设下，\n\n\\[H(Q_\\Delta(X)) =h(X)+\\log(1/\\Delta)+o(1) \\qquad(\\Delta\\to0).\\]\n\n随着分辨率不断提高，离散熵通常趋于无穷大；去掉分辨率项后，微分熵给出了依赖于分布的偏移量。在 \\(n\\) 维情形下，使用大小相同的立方体网格单元会产生 \\(n\\log(1/\\Delta)\\) 这一项。这一关系是高分辨率数据压缩分析的基础。(ee.stanford.edu)\n\n微分熵也用于信道容量的计算。对于加性高斯噪声信道，在功率约束下最大化输出的微分熵，即可得到高斯信道的容量公式。具有实际操作意义的量是互信息，而不是某个单独的微分熵。(web.stanford.edu)"
    }
  ],
  "links": [
    "information-theory",
    "random-variable",
    "information-entropy",
    "lebesgue-measure",
    "probability-density-function",
    "integral",
    "probability-distribution",
    "expected-value",
    "bit",
    "uniform-distribution",
    "variance",
    "normal-distribution",
    "jacobian-matrix",
    "determinant",
    "joint-probability-distribution",
    "conditional-entropy",
    "statistical-independence",
    "kullback-leibler-divergence",
    "mutual-information",
    "covariance-matrix",
    "multivariate-normal-distribution",
    "data-compression",
    "channel-capacity"
  ],
  "sources": [
    {
      "title": "EE/Stats 376A: Information Theory, Lecture 14",
      "url": "https://web.stanford.edu/~kedart/ee376a_winter1617/Lecture_14.pdf"
    },
    {
      "title": "EE/Stats 376A: Information Theory, Lecture 15",
      "url": "https://web.stanford.edu/~kedart/ee376a_winter1617/Lecture_15.pdf"
    },
    {
      "title": "441S16: Chapter 1: Information Measures: Entropy and Divergence",
      "url": "https://www.ocw.mit.edu/courses/6-441-information-theory-spring-2016/2243edffb30f57181ed97dcb77691580_MIT6_441S16_chapter_1.pdf"
    },
    {
      "title": "441S16: Chapter 2: Information Measures: Mutual Information",
      "url": "https://www.ocw.mit.edu/courses/6-441-information-theory-spring-2016/184197ca5d5418da2415d37e929860b9_MIT6_441S16_chapter_2.pdf"
    },
    {
      "title": "441S16: Course Notes",
      "url": "https://www.ocw.mit.edu/courses/6-441-information-theory-spring-2016/5d8f16adc3385c9ff2975b121bd620e4_MIT6_441S16_course_notes.pdf"
    },
    {
      "title": "Gauss Mixture Quantization: Clustering Gauss Mixtures",
      "url": "https://ee.stanford.edu/~gray/msri.pdf"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}