{
  "id": "jensen-shannon-divergence",
  "title": "詹森–香农散度",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "詹森–香农散度是衡量概率分布差异的对称、有界指标，其平方根是一种度量。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "JS散度",
    "JSD",
    "Jensen–Shannon散度"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/jensen-shannon-divergence/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/jensen-shannon-divergence/",
      "json": "https://aiwiki.page/en/jensen-shannon-divergence.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "詹森–香农散度用于衡量两个概率分布之间的差异。它取各分布到二者共同混合分布的KL散度的平均值。与KL散度不同，它具有对称性，而且始终有限，即使两个分布赋予正概率的结果完全不同也不例外。它的平方根满足距离的各项公理，因此广泛用于信息论、统计比较和机器学习。"
    },
    {
      "heading": "定义",
      "text": "对于同一可测空间上的两个概率分布 \\(P\\) 和 \\(Q\\)，将其等权混合分布定义为\n\n\\[M=\\frac{P+Q}{2}.\\]\n\n它们的詹森–香农散度为\n\n\\[\\operatorname{JS}(P,Q) = \\frac12 D_{\\mathrm{KL}}(P\\|M) + \\frac12 D_{\\mathrm{KL}}(Q\\|M).\\]\n\n对于概率质量分别为 \\(p_i\\) 和 \\(q_i\\) 的离散分布，上式可写为\n\n\\[\\operatorname{JS}(P,Q) = \\frac12\\sum_i p_i\\log\\frac{2p_i}{p_i+q_i} + \\frac12\\sum_i q_i\\log\\frac{2q_i}{p_i+q_i}.\\]\n\n分子为零的项定义为零。特别地，满足 \\(p_i=q_i=0\\) 的结果对散度没有贡献。\n\n对于相对于同一控制测度 \\(\\mu\\) 具有概率密度函数 \\(p\\) 和 \\(q\\) 的分布，相应的表达式为\n\n\\[\\operatorname{JS}(P,Q) = \\frac12\\int p\\log\\frac{2p}{p+q}\\,d\\mu + \\frac12\\int q\\log\\frac{2q}{p+q}\\,d\\mu.\\]\n\n更一般地，该定义使用拉东—尼科迪姆导数。无论 \\(P\\) 和 \\(Q\\) 是否相互绝对连续，它们都相对于 \\(M\\) 绝对连续。\n\n对数约定\n\n对数的底决定数值的尺度：\n\n- 以 \\(2\\) 为底时，单位为比特，最大值为 \\(1\\)。\n- 使用自然对数时，单位为奈特，最大值为 \\(\\ln 2\\)。\n\n除非另有说明，理论公式通常使用自然对数。改变对数的底相当于将散度乘以一个常数，不会改变各对分布之间差异大小的相对次序。"
    },
    {
      "heading": "熵表示",
      "text": "对于有限离散分布，散度也可以用信息熵（香农熵）表示：\n\n\\[\\operatorname{JS}(P,Q) = H\\!\\left(\\frac{P+Q}{2}\\right) -\\frac12 H(P)-\\frac12 H(Q),\\]\n\n其中\n\n\\[H(P)=-\\sum_i p_i\\log p_i.\\]\n\n因此，该散度表示混合分布的熵相对于各分布平均熵的增量。由詹森不等式表述的熵的凹性可知，这一量非负。\n\n对于无限字母表或连续分布，使用这一熵差公式时需要谨慎。如果其中各项为无穷大或因其他原因无定义，就不能将它们相减。通过KL散度给出的定义仍然是良定义的。当相关各项均有限时，使用微分熵的类似表达式成立。"
    },
    {
      "heading": "基本性质",
      "text": "非负性与对称性\n\n该散度满足\n\n\\[\\operatorname{JS}(P,Q)\\geq 0,\\]\n\n且等号成立当且仅当 \\(P=Q\\)，这里的相等是指概率测度相等。它还具有对称性：\n\n\\[\\operatorname{JS}(P,Q)=\\operatorname{JS}(Q,P).\\]\n\n对称性使它区别于通常不对称的KL散度。\n\n有界性与支撑集不匹配\n\n使用自然对数时，\n\n\\[0\\leq \\operatorname{JS}(P,Q)\\leq \\ln 2.\\]\n\n这一上界源于 \\(M\\geq P/2\\) 和 \\(M\\geq Q/2\\)，因此两个KL散度项中的密度比都不可能超过 \\(2\\)。\n\n当且仅当 \\(P\\) 和 \\(Q\\) 相互奇异时，散度达到上界：存在一个可测集，一个分布赋予它的概率为 \\(1\\)，另一个分布赋予它的概率为 \\(0\\)。对于离散分布，这意味着两者具有正概率的取值集合互不相交。\n\n因此，一个分布中的零概率不会使詹森–香农散度变为无穷大。仅为保证总体层面的散度有限，无须进行平滑处理。\n\n平方根是一种度量\n\n詹森–香农距离定义为\n\n\\[d_{\\mathrm{JS}}(P,Q)=\\sqrt{\\operatorname{JS}(P,Q)}.\\]\n\n它满足三角不等式：\n\n\\[d_{\\mathrm{JS}}(P,R) \\leq d_{\\mathrm{JS}}(P,Q)+d_{\\mathrm{JS}}(Q,R).\\]\n\n结合对称性和同一性，这使它成为概率分布上的一种度量。\n\n散度本身通常不满足三角不等式。这个区别很重要，因为某些名为“Jensen–Shannon”的软件函数返回的是散度的平方根，而不是散度本身。\n\n例如，使用以 \\(2\\) 为底的对数，并令\n\n\\[P=(1,0),\\qquad Q=(1/2,1/2),\\qquad R=(0,1),\\]\n\n则有\n\n\\[\\operatorname{JS}(P,R)=1,\\]\n\n以及\n\n\\[\\operatorname{JS}(P,Q) = \\operatorname{JS}(Q,R) \\approx 0.311278.\\]\n\n因此，两个较小散度之和小于第三个散度，而它们的平方根则满足三角不等式。"
    },
    {
      "heading": "互信息解释",
      "text": "该散度可以直接用互信息来解释。\n\n设 \\(Z\\) 是一个二元随机变量，以相等概率选择两个来源之一。在 \\(Z=0\\) 的条件下，从 \\(P\\) 中抽取观测值 \\(X\\)；在 \\(Z=1\\) 的条件下，从 \\(Q\\) 中抽取观测值 \\(X\\)。\\(X\\) 的边缘分布为 \\(M\\)，并且\n\n\\[\\operatorname{JS}(P,Q)=I(Z;X).\\]\n\n因此，该散度衡量观察一个样本能够提供多少关于其生成来源的信息。\n\n- 若 \\(P=Q\\)，观测值不提供任何关于来源的信息。\n- 若两个分布相互奇异，则观测值以概率 \\(1\\) 确定其来源。\n- 介于两者之间的值量化了关于来源身份的部分信息。\n\n这也解释了其上界：观测值所能揭示的来源信息，不可能超过来源标签本身的熵；在等权二元情形下，该熵为一比特。"
    },
    {
      "heading": "加权形式与多分布形式",
      "text": "对于权重 \\(0<\\alpha<1\\)，定义\n\n\\[M_\\alpha=\\alpha P+(1-\\alpha)Q\\]\n\n以及\n\n\\[\\operatorname{JS}_{\\alpha}(P,Q) = \\alpha D_{\\mathrm{KL}}(P\\|M_\\alpha) + (1-\\alpha)D_{\\mathrm{KL}}(Q\\|M_\\alpha).\\]\n\n其上界为混合权重的二元熵：\n\n\\[\\operatorname{JS}_{\\alpha}(P,Q) \\leq -\\alpha\\log\\alpha-(1-\\alpha)\\log(1-\\alpha).\\]\n\n当固定的 \\(\\alpha\\neq 1/2\\) 时，这一表达式通常关于 \\(P\\) 和 \\(Q\\) 不对称。它满足的是\n\n\\[\\operatorname{JS}_{\\alpha}(P,Q) = \\operatorname{JS}_{1-\\alpha}(Q,P).\\]\n\n对于分布 \\(P_1,\\ldots,P_k\\) 及总和为 \\(1\\) 的非负权重 \\(w_i\\)，令\n\n\\[M=\\sum_{i=1}^{k}w_iP_i.\\]\n\n广义散度为\n\n\\[\\operatorname{JS}_{w}(P_1,\\ldots,P_k) = \\sum_{i=1}^{k}w_iD_{\\mathrm{KL}}(P_i\\|M).\\]\n\n当各熵项均有限时，它等于\n\n\\[H(M)-\\sum_{i=1}^{k}w_iH(P_i).\\]\n\n它是分量标签与从该分量中抽取的观测值之间的互信息，其上界为权重的熵。"
    },
    {
      "heading": "局部行为与统计几何",
      "text": "对于彼此接近的分布，詹森–香农散度近似表现为距离的二次型。\n\n在固定的有限字母表上，假设 \\(p_i>0\\)、\\(q_i=p_i+\\delta_i\\)，且 \\(\\sum_i\\delta_i=0\\)。使用自然对数，通过泰勒级数展开可得\n\n\\[\\operatorname{JS}(P,Q) = \\frac18\\sum_i\\frac{\\delta_i^2}{p_i} + O(\\|\\delta\\|^3).\\]\n\n对于满足充分正则性条件的参数族 \\(P_\\theta\\)，上式变为\n\n\\[\\operatorname{JS}(P_\\theta,P_{\\theta+\\Delta\\theta}) = \\frac18\\Delta\\theta^{\\mathsf T} I(\\theta)\\Delta\\theta + o(\\|\\Delta\\theta\\|^2),\\]\n\n其中 \\(I(\\theta)\\) 是费希尔信息矩阵。\n\n多种信息论散度都具有相同的局部二次结构，尽管它们的全局性质各不相同。这些展开需要满足正则性条件，不能不加区分地用于概率为零的边界处。"
    },
    {
      "heading": "应用",
      "text": "比较经验分布\n\n詹森–香农散度可用于比较归一化直方图、类别频率、词语分布及其他概率表示。它的对称性和有界取值范围便于解释比较结果，而其平方根所构成的度量可用于聚类分析和基于距离的可视化。\n\n被比较的分布必须对应同一个结果空间。对于直方图，分箱定义必须一致；对于文本，词汇类别必须匹配。这些选择可能对结果产生显著影响。\n\n生成对抗学习\n\n在最初的生成对抗网络形式中，判别器最大化\n\n\\[V(D,G) = \\mathbb{E}_{X\\sim P}[\\log D(X)] + \\mathbb{E}_{X\\sim Q_G}[\\log(1-D(X))],\\]\n\n其中 \\(P\\) 是数据分布，\\(Q_G\\) 是生成器分布。\n\n对于固定的生成器和不受限制的最优判别器，\n\n\\[\\max_D V(D,G) = -\\ln 4+2\\operatorname{JS}(P,Q_G).\\]\n\n这一恒等式将理想化的极小极大目标与散度最小化联系起来。但这并不意味着实际训练会精确计算该散度：判别器的表达能力有限，优化并不完美，而且常用的生成器目标也不同于最初的极小极大损失。"
    },
    {
      "heading": "估计、计算与局限",
      "text": "对于有限概率向量，直接计算所需的时间与类别数成正比。可靠的实现会要求各项非负、检查归一化情况，并显式处理零概率项。对数域运算和专门设计的零值安全函数可以改善数值稳定性。\n\n以下几项局限仍然值得重视：\n\n- 抽样不确定性： 经验分布之间的散度不等于生成这些样本的分布之间的散度。样本稀疏、类别众多都可能显著影响估计结果。\n- 对表示方式的依赖： 分箱、类别合并和密度估计会改变被比较的分布。对两个分布施加相同的可测变换，不会增大它们的詹森–香农散度。\n- 不自带结果空间的几何结构： 无论位置相距多近或多远，集中在不同点上的点质量分布之间的散度都达到最大值。该散度不考虑底层的物理距离或语义距离。\n- 奇异分布下的饱和： 相互奇异的分布之间的散度均达到最大值。当模型将概率质量分配在互不相交的集合上时，这可能限制该散度作为优化目标函数的作用。\n- 不自动具有显著性含义： 一个散度数值既不是两个分布存在差异的概率，也不是P值。统计推断还需要额外的抽样模型或检验程序。"
    },
    {
      "heading": "历史发展",
      "text": "林建华（Jianhua Lin）于1991年以“詹森–香农散度”之名提出了这一概念，发展了与早期信息半径构造相关的、基于熵的度量。其名称同时体现了詹森不等式和香农熵。多米尼克·恩德雷斯（Dominik Endres）和约翰内斯·辛德林（Johannes Schindelin）于2003年发表的研究证明了其平方根的度量性质。"
    }
  ],
  "links": [
    "probability-distribution",
    "kullback-leibler-divergence",
    "information-theory",
    "machine-learning",
    "probability-density-function",
    "logarithm",
    "natural-logarithm",
    "information-entropy",
    "jensens-inequality",
    "differential-entropy",
    "triangle-inequality",
    "metric-space",
    "mutual-information",
    "random-variable",
    "taylor-series",
    "fisher-information",
    "cluster-analysis",
    "generative-adversarial-network",
    "numerical-stability",
    "density-estimation",
    "objective-function",
    "p-value"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}