{
  "id": "cross-entropy",
  "title": "交叉熵",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "交叉熵衡量用一个概率分布描述另一个分布生成的结果时，所产生的期望对数损失。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "交叉熵损失"
  ],
  "generated_at": "2026-10-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/cross-entropy/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/cross-entropy/",
      "json": "https://aiwiki.page/en/cross-entropy.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "交叉熵是信息论中的一个量，用于衡量模型分布为参考分布所生成的结果赋予的概率，其负对数的平均值。它将概率预测与信息编码联系起来：如果预测为频繁出现的结果赋予较低的概率，就会产生较大的代价。在机器学习中，交叉熵被广泛用作损失函数，以拟合概率模型并评估其预测结果。(deeplearningbook.org)"
    },
    {
      "heading": "数学定义",
      "text": "对于定义在同一结果空间 \\(\\mathcal X\\) 上的两个离散概率分布 \\(P\\) 和 \\(Q\\)，交叉熵为\n\n\\[H(P,Q)=-\\sum_{x\\in\\mathcal X}P(x)\\log Q(x) =\\mathbb E_{X\\sim P}[-\\log Q(X)].\\]\n\n其中，期望值按 \\(P\\) 计算，而概率的对数来自 \\(Q\\)。因此，参数的顺序很重要。以 2 为底的对数对应的单位是比特；自然对数对应的单位是奈特。按照约定，\\(P(x)=0\\) 的项贡献为零。如果 \\(P(x)>0\\) 而 \\(Q(x)=0\\)，交叉熵就是无穷大：模型将某个结果判定为不可能发生，而参考分布却允许它发生。(deeplearningbook.org)\n\n量 \\(-\\log Q(x)\\) 是 \\(Q\\) 为结果 \\(x\\) 赋予的自信息。因此，交叉熵平均的是模型赋予各结果的惊讶程度，而不是参考分布自身的惊讶程度。对于离散分布，交叉熵非负，但即使两个分布相同，它也不一定为零。(deeplearningbook.org)"
    },
    {
      "heading": "与熵和散度的关系",
      "text": "交叉熵可以分解为信息熵和KL散度：\n\n\\[H(P,Q)=H(P)+D_{\\mathrm{KL}}(P\\|Q),\\]\n\n其中\n\n\\[H(P)=-\\sum_xP(x)\\log P(x),\\qquad D_{\\mathrm{KL}}(P\\|Q)=\\sum_xP(x)\\log\\frac{P(x)}{Q(x)}.\\]\n\n对于有限离散分布，吉布斯不等式表明 \\(H(P,Q)\\geq H(P)\\)，且等号成立当且仅当 \\(P=Q\\)。因此，在固定 \\(P\\) 的情况下，关于 \\(Q\\) 最小化交叉熵，等价于最小化这一方向上的 KL 散度。交叉熵不是距离度量：它通常不对称，而且 \\(H(P,P)=H(P)\\)，而不是零。(cs229.stanford.edu)\n\n在无损数据压缩中，基于 \\(Q\\) 的理想码长为 \\(-\\log_2Q(x)\\)。这些码长在实际信源分布 \\(P\\) 下的平均值就是交叉熵，而 KL 散度表示其超出熵的部分。这一解释针对的是理想码长或渐近编码率；单个二进制码字的长度必须是整数。(cs229.stanford.edu)"
    },
    {
      "heading": "统计估计与学习",
      "text": "在监督学习中，模型为给定输入的标签赋予条件概率 \\(q_\\theta(y\\mid x)\\)。对于训练数据中的 \\(N\\) 个样本，经验目标函数为\n\n\\[L(\\theta)=-\\frac1N\\sum_{i=1}^{N} \\log q_\\theta(y_i\\mid x_i).\\]\n\n当各样本的标签在给定输入的条件下相互独立时，它们的似然函数就是这些概率的乘积。取对数会将乘积转化为求和，因此最小化 \\(L\\) 等价于最大似然估计。平均损失是对预测对数损失期望值的经验估计。(deeplearningbook.org)\n\n交叉熵可以作为人工神经网络的训练目标。总目标函数还可能包含正则化项；在这种情况下，它就不再只是未经修改的负对数似然。其具体表达式取决于模型所假设的输出分布。(deeplearningbook.org)"
    },
    {
      "heading": "二分类与多分类形式",
      "text": "对于二分类目标 \\(y\\in\\{0,1\\}\\) 和预测的正类概率 \\(q\\)，伯努利分布的交叉熵为\n\n\\[\\ell(y,q)=-y\\log q-(1-y)\\log(1-q).\\]\n\n同一公式也适用于软目标 \\(y\\in[0,1]\\)，此时 \\(y\\) 被解释为目标概率。在多标签分类中，可以为可能同时出现的标签分别计算二分类损失，而不是将所有标签强行纳入一个互斥的分布。(docs.pytorch.org)\n\n对于 \\(K\\) 个互斥类别，目标概率 \\(p_k\\) 和预测概率 \\(q_k\\) 对应的损失为\n\n\\[\\ell(p,q)=-\\sum_{k=1}^{K}p_k\\log q_k.\\]\n\n如果对正确类别 \\(c\\) 使用独热编码，该式就简化为 \\(-\\log q_c\\)。因此，公式中显式出现的只有赋予正确类别的概率，尽管归一化使所有类别的概率相互关联。具体实现可以接受类别索引，而不必显式提供独热向量。(docs.pytorch.org)\n\n例如，为正确类别赋予 \\(0.8\\) 的概率会产生约 \\(0.223\\) 奈特的损失；赋予 \\(0.1\\) 的概率则会产生约 \\(2.303\\) 奈特的损失。这些数值可由公式直接得出，说明交叉熵会对高置信度的错误预测施加较强惩罚。"
    },
    {
      "heading": "数值计算",
      "text": "多分类模型通常使用Softmax函数将原始得分 \\(z_k\\) 转换为概率：\n\n\\[q_k=\\frac{e^{z_k}}{\\sum_j e^{z_j}}.\\]\n\n对于归一化的目标分布，交叉熵对某个得分的导数为\n\n\\[\\frac{\\partial\\ell}{\\partial z_k}=q_k-p_k.\\]\n\n这一简洁表达式提供了用于反向传播的输出层梯度。它可以由 Softmax 和损失函数的公式通过代数运算推导出来。(docs.pytorch.org)\n\n直接从得分计算对数概率，可以避免不必要的数值不稳定性。多分类损失可以用 log-sum-exp（指数和的对数）形式表示，而二分类实现可以将逻辑斯蒂函数与对数损失结合计算。因此，程序库会区分接收概率的损失函数和接收原始得分的损失函数。类别权重、平均方式以及被忽略的目标也会影响最终的目标函数。(docs.pytorch.org)"
    },
    {
      "heading": "语言建模与连续分布",
      "text": "语言模型为依次出现的词元赋予条件概率。在独立测试集上计算的平均负对数概率，可用于估计每个词元的预测交叉熵。以相同的对数底数对这一平均值取指数，就得到困惑度。进行比较时，必须使用可比的词元单位和评估数据。(nlp.stanford.edu)\n\n对于概率密度为 \\(p\\) 和 \\(q\\) 的连续变量，类似的定义为\n\n\\[H(p,q)=-\\int p(x)\\log q(x)\\,dx.\\]\n\n与离散交叉熵不同，这个量可能为负，因为概率密度可以大于 1。当相关量均有良好定义时，它通过相应的 KL 分解与微分熵联系起来；其数值取决于所选的坐标和参考测度。(deeplearningbook.org)"
    }
  ],
  "links": [
    "information-theory",
    "machine-learning",
    "loss-function",
    "probability-distribution",
    "expected-value",
    "bit",
    "self-information",
    "information-entropy",
    "kullback-leibler-divergence",
    "lossless-data-compression",
    "supervised-learning",
    "training-data",
    "likelihood-function",
    "maximum-likelihood-estimation",
    "artificial-neural-network",
    "regularization",
    "bernoulli-distribution",
    "one-hot-encoding",
    "softmax-function",
    "backpropagation",
    "gradient",
    "logistic-function",
    "language-model",
    "test-set",
    "perplexity",
    "differential-entropy"
  ],
  "sources": [
    {
      "title": "deeplearningbook.org/contents/prob.html",
      "url": "https://www.deeplearningbook.org/contents/prob.html"
    },
    {
      "title": "cs229.stanford.edu/summer2019/ps3.pdf",
      "url": "https://cs229.stanford.edu/summer2019/ps3.pdf"
    },
    {
      "title": "deeplearningbook.org/contents/mlp.html",
      "url": "https://www.deeplearningbook.org/contents/mlp.html"
    },
    {
      "title": "docs.pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html",
      "url": "https://docs.pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html?highlight=criterion"
    },
    {
      "title": "docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html",
      "url": "https://docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html"
    },
    {
      "title": "nlp.stanford.edu/fsnlp/mathfound/fsnlp-slides-kl.pdf",
      "url": "https://nlp.stanford.edu/fsnlp/mathfound/fsnlp-slides-kl.pdf"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}