{
  "id": "log-sum-exp",
  "title": "对数和指数函数",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "对数和指数函数是最大值函数的光滑凸近似，也是在对数尺度下以数值稳定的方式合并数值的运算。",
  "category": "mathematics",
  "subcategory": "analysis",
  "type": "concept",
  "aliases": [
    "LogSumExp函数",
    "LSE函数"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/log-sum-exp/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/log-sum-exp/",
      "json": "https://aiwiki.page/en/log-sum-exp.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "对数和指数函数是对若干指数值之和取自然对数的实值函数。对于具有 \\(n\\geq 1\\) 个有限实数分量的向量 \\(x=(x_1,\\ldots,x_n)\\)，其定义为\n\n\\[\\operatorname{LSE}(x) =\\log\\left(\\sum_{i=1}^{n}e^{x_i}\\right).\\]\n\n它广泛用于凸优化、统计学和机器学习，既可作为最大值函数的光滑近似，也是对数域计算中的一项基本运算。其导数与Softmax函数直接相关，而一个等价的平移公式则能在各个指数项直接计算会溢出的情况下，仍可靠地求出函数值。"
    },
    {
      "heading": "定义与基本性质",
      "text": "定义中使用的是以 \\(e\\) 为底的指数函数。以下恒等式说明了对数和指数函数的性质。\n\n平移等变性。 给每个输入都加上相同的常数 \\(c\\)，结果也会增加 \\(c\\)：\n\n\\[\\operatorname{LSE}(x+c\\mathbf 1) =c+\\operatorname{LSE}(x),\\]\n\n其中，\\(\\mathbf 1\\) 是所有分量均为一的向量。\n\n对称性与单调性。 任意置换输入的顺序，结果保持不变。在其他输入不变的情况下，增大任一输入都会使结果严格增大。\n\n与最大值的界限关系。 若 \\(m=\\max_i x_i\\)，则\n\n\\[m\\leq \\operatorname{LSE}(x)\\leq m+\\log n.\\]\n\n这是因为\n\n\\[e^m\\leq \\sum_i e^{x_i}\\leq ne^m.\\]\n\n当所有输入相等时，达到上界。当 \\(n>1\\) 且所有输入均为有限值时，左侧不等式严格成立；不过，当某个输入远大于其他输入时，两者之差可以趋近于零。\n\n例如，\n\n\\[\\operatorname{LSE}(0,0)=\\log 2,\\]\n\n而\n\n\\[\\operatorname{LSE}(10,0) =10+\\log(1+e^{-10})\\]\n\n仅略大于 \\(10\\)。\n\n分组计算。 对数和指数函数可以分阶段求值：\n\n\\[\\operatorname{LSE}(a,b,c) =\\operatorname{LSE}\\bigl(\\operatorname{LSE}(a,b),c\\bigr).\\]\n\n这一恒等式在实数运算中精确成立。在浮点运算中，不同的分组顺序可能产生略有差异的结果。"
    },
    {
      "heading": "最大值的光滑近似",
      "text": "引入一个通常称为温度的正尺度参数 \\(\\tau\\)，可得到函数族\n\n\\[L_\\tau(x) =\\tau\\log\\left(\\sum_{i=1}^{n}e^{x_i/\\tau}\\right), \\qquad \\tau>0.\\]\n\n与最大值的界限关系变为\n\n\\[\\max_i x_i \\leq L_\\tau(x) \\leq \\max_i x_i+\\tau\\log n.\\]\n\n因此，\n\n\\[\\lim_{\\tau\\to0^+}L_\\tau(x)=\\max_i x_i.\\]\n\n对于固定的 \\(n\\)，所有实数输入向量上的近似误差都一致地以 \\(\\tau\\log n\\) 为上界。这提供了一种误差可控的方法，用无穷次可微函数替代不光滑的最大值函数。\n\n一种相关但不同的归一化形式是\n\n\\[\\tau\\log\\left(\\frac1n\\sum_{i=1}^{n}e^{x_i/\\tau}\\right) =L_\\tau(x)-\\tau\\log n.\\]\n\n这一对数平均指数表达式从下方而非上方逼近最大值。当 \\(\\tau\\to\\infty\\) 时，它还会趋近于算术平均值，而未归一化的 \\(L_\\tau\\) 则包含不断增大的项 \\(\\tau\\log n\\)。\n\n光滑化并不会保留最大值函数的所有特征。在正温度下，每个有限输入都会对结果有所贡献；当多个输入并列为最大值时，还会产生反映其个数的额外贡献。"
    },
    {
      "heading": "导数、Softmax与凸性",
      "text": "定义\n\n\\[p_i=\\frac{e^{x_i}}{\\sum_j e^{x_j}}.\\]\n\n对数和指数函数的梯度就是Softmax函数：\n\n\\[\\frac{\\partial\\operatorname{LSE}(x)}{\\partial x_i}=p_i.\\]\n\n因此，其梯度的各分量均为正数且总和为一，可以解释为输入索引上的离散概率分布。\n\n其海森矩阵为\n\n\\[\\nabla^2\\operatorname{LSE}(x) =\\operatorname{diag}(p)-pp^{\\mathsf T}.\\]\n\n对于任意向量 \\(v\\)，\n\n\\[v^{\\mathsf T}\\nabla^2\\operatorname{LSE}(x)v =\\sum_i p_i v_i^2-\\left(\\sum_i p_i v_i\\right)^2 \\geq0.\\]\n\n右侧是在概率 \\(p_i\\) 下各值 \\(v_i\\) 的方差。因此，海森矩阵是半正定的，这说明对数和指数函数是凸函数。\n\n它在整个 \\(\\mathbb R^n\\) 上并非严格凸函数：由于平移等变性，它沿全一向量方向是仿射的。对于有限输入，这是海森矩阵唯一的零方向。当 \\(n>1\\) 时，该函数在子空间 \\(\\sum_i x_i=0\\) 上的限制是严格凸的。\n\n对于按温度缩放的函数，\n\n\\[\\nabla L_\\tau(x)=\\operatorname{softmax}(x/\\tau),\\]\n\n且\n\n\\[\\nabla^2L_\\tau(x) =\\frac1\\tau\\left(\\operatorname{diag}(p)-pp^{\\mathsf T}\\right).\\]\n\n温度越低，梯度权重就越集中于最大的输入。如果多个输入并列为最大值，那么当 \\(\\tau\\to0^+\\) 时，梯度会收敛到在这些最大值对应索引上均匀分配权重的向量。"
    },
    {
      "heading": "数值稳定的求值方法",
      "text": "即使最终结果可以表示，直接计算 \\(\\log\\sum_i e^{x_i}\\) 也可能失败。较大的正输入可能导致指数运算上溢；足够小的负输入则可能使所有指数项都下溢为零。\n\n标准的稳定公式使用 \\(m=\\max_i x_i\\)：\n\n\\[\\boxed{ \\operatorname{LSE}(x) =m+\\log\\left(\\sum_{i=1}^{n}e^{x_i-m}\\right). }\\]\n\n平移后的求和式中，每个指数项都位于 \\((0,1]\\) 内，且至少有一项等于 \\(1\\)。这既避免了指数运算上溢，也防止了整个和下溢为零。\n\n例如，\n\n\\[\\operatorname{LSE}(1000,1000)=1000+\\log2,\\]\n\n尽管在常见的浮点格式中，直接计算 \\(e^{1000}\\) 会发生上溢。\n\n对于两个输入，一个实用的形式是\n\n\\[\\operatorname{LSE}(a,b) =\\max(a,b)+\\log\\left(1+e^{-|a-b|}\\right).\\]\n\n其中的对数修正项可以用 log1p 求值；这个数值例程专门用于在 \\(u\\) 很小时精确计算 \\(\\log(1+u)\\)。特别地，\n\n\\[\\log(1+e^x) =\\max(0,x)+\\log\\left(1+e^{-|x|}\\right)\\]\n\n是Softplus函数的一个稳定表达式。\n\n平移提高了数值稳定性，但并不能使计算完全精确。较小的贡献仍可能因舍入或下溢而丢失，尤其是在低精度计算中。这类损失对于最终的对数和通常可以忽略，但如果需要单个极小概率或梯度，则可能很重要。对于较长的求和序列，成对求和或补偿求和可以提高精度。\n\n无穷输入与空和\n\n实现时必须单独处理以下特殊情况：\n\n- 如果至少有一个输入为 \\(+\\infty\\)，结果为 \\(+\\infty\\)。\n- 如果所有输入均为 \\(-\\infty\\)，结果为 \\(-\\infty\\)。\n- 空输入的对数和指数通常定义为 \\(-\\infty\\)，对应于扩展实数中的 \\(\\log 0\\)。\n\n在前两种情况下，直接套用平移公式可能产生未定义的表达式，例如 \\(+\\infty-(+\\infty)\\) 或 \\(-\\infty-(-\\infty)\\)。"
    },
    {
      "heading": "熵与变分表示",
      "text": "设\n\n\\[\\Delta_n=\\left\\{p\\in\\mathbb R^n:p_i\\geq0,\\ \\sum_i p_i=1\\right\\}\\]\n\n为概率单纯形。用自然对数度量信息熵，\n\n\\[H(p)=-\\sum_i p_i\\log p_i,\\]\n\n并约定 \\(0\\log0=0\\)，则对数和指数函数满足\n\n\\[\\operatorname{LSE}(x) =\\max_{p\\in\\Delta_n} \\left\\{\\sum_i p_i x_i+H(p)\\right\\}.\\]\n\n使其达到最大值的唯一分布是 \\(p=\\operatorname{softmax}(x)\\)。\n\n为说明这一点，令 \\(q_i=e^{x_i}/\\sum_j e^{x_j}\\)。KL散度满足\n\n\\[D_{\\mathrm{KL}}(p\\|q) =\\sum_i p_i\\log p_i-\\sum_i p_i x_i +\\operatorname{LSE}(x).\\]\n\n整理可得\n\n\\[\\sum_i p_i x_i+H(p) =\\operatorname{LSE}(x)-D_{\\mathrm{KL}}(p\\|q),\\]\n\n其最大值在 \\(p=q\\) 时取得。\n\n更一般地，\n\n\\[L_\\tau(x) =\\max_{p\\in\\Delta_n} \\left\\{\\sum_i p_i x_i+\\tau H(p)\\right\\}.\\]\n\n这一表示将光滑最大值刻画为输入值的期望加上一个熵项。参数 \\(\\tau\\) 控制熵的贡献大小。"
    },
    {
      "heading": "应用",
      "text": "对数域中的概率计算\n\n对于非负权重 \\(w_i\\)，若 \\(a_i=\\log w_i\\)，则\n\n\\[\\log\\left(\\sum_i w_i\\right)=\\operatorname{LSE}(a).\\]\n\n权重相乘转化为其对数相加，而权重相加则转化为对数和指数运算。这样就能处理涉及极小概率的计算，而不必反复将它们转换回普通尺度。\n\n典型例子包括对高斯混合模型中的混合分量求和、计算有限隐状态的求和，以及实现隐马尔可夫模型的前向递推。在对加权似然贡献求和以计算边际似然时，也会用到这一运算。\n\n分类损失\n\n对于类别得分 \\(z_i\\)，归一化的类别概率满足\n\n\\[\\log p_i=z_i-\\operatorname{LSE}(z).\\]\n\n若观测到的类别为 \\(y\\)，其负对数概率为\n\n\\[-\\log p_y=\\operatorname{LSE}(z)-z_y.\\]\n\n这就是单个类别目标的交叉熵损失。直接实现这一合并后的表达式，可以避免对可能已下溢为零的概率取对数。\n\n凸建模\n\n对于仿射表达式 \\(a_i^{\\mathsf T}u+b_i\\)，函数\n\n\\[f(u)=\\log\\sum_i e^{a_i^{\\mathsf T}u+b_i}\\]\n\n是凸函数。此类表达式出现在光滑最大值目标和概率模型中。它们的导数是仿射系数的加权组合，海森矩阵则是相应的协方差矩阵。"
    },
    {
      "heading": "加权变体与局限性",
      "text": "对于不全为零的非负权重 \\(w_i\\)，加权版本为\n\n\\[\\log\\sum_i w_i e^{x_i}.\\]\n\n当权重均为正时，可将其改写为\n\n\\[\\operatorname{LSE}(x_1+\\log w_1,\\ldots,x_n+\\log w_n).\\]\n\n零权重项可以省略，也可以用输入值 \\(-\\infty\\) 表示。\n\n负权重会使问题发生本质变化。加权和可能为零或负数，而且即使每个指数项都能安全计算，相消仍可能严重损害相对精度。因此，带符号的对数表示需要在普通对数和指数运算之外进行额外处理。\n\n普通的对数和指数函数也只是一种归一化运算，并不保证计算在实际中可行。如果一个概率模型包含指数级数量的配置，将其归一化求和改写为对数和指数形式虽然能避免某些数值问题，却无法消除计算该求和所需的开销。"
    }
  ],
  "links": [
    "natural-logarithm",
    "mathematical-function",
    "convex-optimization",
    "statistics",
    "machine-learning",
    "exponential-function",
    "floating-point-arithmetic",
    "gradient",
    "softmax-function",
    "probability-distribution",
    "hessian-matrix",
    "variance",
    "convex-function",
    "numerical-stability",
    "information-entropy",
    "kullback-leibler-divergence",
    "gaussian-mixture-model",
    "hidden-markov-model",
    "marginal-likelihood",
    "cross-entropy"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}