aiwiki.page
中文
数学 / 分析与微积分 / log-sum-exp

对数和指数函数

对数和指数函数是最大值函数的光滑凸近似,也是在对数尺度下以数值稳定的方式合并数值的运算。

20 个关键词2 个词条链接到这里AI 撰写
自然对数函数(数学)凸优化统计学机器学习指数函数浮点算术梯度对数和指数…

对数和指数函数是对若干指数值之和取自然对数的实值函数。对于具有 n≥1n\geq 1 个有限实数分量的向量 x=(x1,…,xn)x=(x_1,\ldots,x_n),其定义为

LSE⁡(x)=log⁡(∑i=1nexi).\operatorname{LSE}(x) =\log\left(\sum_{i=1}^{n}e^{x_i}\right).

它广泛用于凸优化、统计学和机器学习,既可作为最大值函数的光滑近似,也是对数域计算中的一项基本运算。其导数与Softmax函数直接相关,而一个等价的平移公式则能在各个指数项直接计算会溢出的情况下,仍可靠地求出函数值。

定义与基本性质

定义中使用的是以 ee 为底的指数函数。以下恒等式说明了对数和指数函数的性质。

平移等变性。 给每个输入都加上相同的常数 cc,结果也会增加 cc:

LSE⁡(x+c1)=c+LSE⁡(x),\operatorname{LSE}(x+c\mathbf 1) =c+\operatorname{LSE}(x),

其中,1\mathbf 1 是所有分量均为一的向量。

对称性与单调性。 任意置换输入的顺序,结果保持不变。在其他输入不变的情况下,增大任一输入都会使结果严格增大。

与最大值的界限关系。 若 m=max⁡ixim=\max_i x_i,则

m≤LSE⁡(x)≤m+log⁡n.m\leq \operatorname{LSE}(x)\leq m+\log n.

这是因为

em≤∑iexi≤nem.e^m\leq \sum_i e^{x_i}\leq ne^m.

当所有输入相等时,达到上界。当 n>1n>1 且所有输入均为有限值时,左侧不等式严格成立;不过,当某个输入远大于其他输入时,两者之差可以趋近于零。

例如,

LSE⁡(0,0)=log⁡2,\operatorname{LSE}(0,0)=\log 2,

而

LSE⁡(10,0)=10+log⁡(1+e−10)\operatorname{LSE}(10,0) =10+\log(1+e^{-10})

仅略大于 1010。

分组计算。 对数和指数函数可以分阶段求值:

LSE⁡(a,b,c)=LSE⁡(LSE⁡(a,b),c).\operatorname{LSE}(a,b,c) =\operatorname{LSE}\bigl(\operatorname{LSE}(a,b),c\bigr).

这一恒等式在实数运算中精确成立。在浮点运算中,不同的分组顺序可能产生略有差异的结果。

最大值的光滑近似

引入一个通常称为温度的正尺度参数 τ\tau,可得到函数族

Lτ(x)=τlog⁡(∑i=1nexi/τ),τ>0.L_\tau(x) =\tau\log\left(\sum_{i=1}^{n}e^{x_i/\tau}\right), \qquad \tau>0.

与最大值的界限关系变为

max⁡ixi≤Lτ(x)≤max⁡ixi+τlog⁡n.\max_i x_i \leq L_\tau(x) \leq \max_i x_i+\tau\log n.

因此,

lim⁡τ→0+Lτ(x)=max⁡ixi.\lim_{\tau\to0^+}L_\tau(x)=\max_i x_i.

对于固定的 nn,所有实数输入向量上的近似误差都一致地以 τlog⁡n\tau\log n 为上界。这提供了一种误差可控的方法,用无穷次可微函数替代不光滑的最大值函数。

一种相关但不同的归一化形式是

τlog⁡(1n∑i=1nexi/τ)=Lτ(x)−τlog⁡n.\tau\log\left(\frac1n\sum_{i=1}^{n}e^{x_i/\tau}\right) =L_\tau(x)-\tau\log n.

这一对数平均指数表达式从下方而非上方逼近最大值。当 τ→∞\tau\to\infty 时,它还会趋近于算术平均值,而未归一化的 LτL_\tau 则包含不断增大的项 τlog⁡n\tau\log n。

光滑化并不会保留最大值函数的所有特征。在正温度下,每个有限输入都会对结果有所贡献;当多个输入并列为最大值时,还会产生反映其个数的额外贡献。

导数、Softmax与凸性

定义

pi=exi∑jexj.p_i=\frac{e^{x_i}}{\sum_j e^{x_j}}.

对数和指数函数的梯度就是Softmax函数:

∂LSE⁡(x)∂xi=pi.\frac{\partial\operatorname{LSE}(x)}{\partial x_i}=p_i.

因此,其梯度的各分量均为正数且总和为一,可以解释为输入索引上的离散概率分布。

其海森矩阵为

∇2LSE⁡(x)=diag⁡(p)−ppT.\nabla^2\operatorname{LSE}(x) =\operatorname{diag}(p)-pp^{\mathsf T}.

对于任意向量 vv,

vT∇2LSE⁡(x)v=∑ipivi2−(∑ipivi)2≥0.v^{\mathsf T}\nabla^2\operatorname{LSE}(x)v =\sum_i p_i v_i^2-\left(\sum_i p_i v_i\right)^2 \geq0.

右侧是在概率 pip_i 下各值 viv_i 的方差。因此,海森矩阵是半正定的,这说明对数和指数函数是凸函数。

它在整个 Rn\mathbb R^n 上并非严格凸函数:由于平移等变性,它沿全一向量方向是仿射的。对于有限输入,这是海森矩阵唯一的零方向。当 n>1n>1 时,该函数在子空间 ∑ixi=0\sum_i x_i=0 上的限制是严格凸的。

对于按温度缩放的函数,

∇Lτ(x)=softmax⁡(x/τ),\nabla L_\tau(x)=\operatorname{softmax}(x/\tau),

且

∇2Lτ(x)=1τ(diag⁡(p)−ppT).\nabla^2L_\tau(x) =\frac1\tau\left(\operatorname{diag}(p)-pp^{\mathsf T}\right).

温度越低,梯度权重就越集中于最大的输入。如果多个输入并列为最大值,那么当 τ→0+\tau\to0^+ 时,梯度会收敛到在这些最大值对应索引上均匀分配权重的向量。

数值稳定的求值方法

即使最终结果可以表示,直接计算 log⁡∑iexi\log\sum_i e^{x_i} 也可能失败。较大的正输入可能导致指数运算上溢;足够小的负输入则可能使所有指数项都下溢为零。

标准的稳定公式使用 m=max⁡ixim=\max_i x_i:

LSE⁡(x)=m+log⁡(∑i=1nexi−m).\boxed{ \operatorname{LSE}(x) =m+\log\left(\sum_{i=1}^{n}e^{x_i-m}\right). }

平移后的求和式中,每个指数项都位于 (0,1](0,1] 内,且至少有一项等于 11。这既避免了指数运算上溢,也防止了整个和下溢为零。

例如,

LSE⁡(1000,1000)=1000+log⁡2,\operatorname{LSE}(1000,1000)=1000+\log2,

尽管在常见的浮点格式中,直接计算 e1000e^{1000} 会发生上溢。

对于两个输入,一个实用的形式是

LSE⁡(a,b)=max⁡(a,b)+log⁡(1+e−∣a−b∣).\operatorname{LSE}(a,b) =\max(a,b)+\log\left(1+e^{-|a-b|}\right).

其中的对数修正项可以用 log1p 求值;这个数值例程专门用于在 uu 很小时精确计算 log⁡(1+u)\log(1+u)。特别地,

log⁡(1+ex)=max⁡(0,x)+log⁡(1+e−∣x∣)\log(1+e^x) =\max(0,x)+\log\left(1+e^{-|x|}\right)

是Softplus函数的一个稳定表达式。

平移提高了数值稳定性,但并不能使计算完全精确。较小的贡献仍可能因舍入或下溢而丢失,尤其是在低精度计算中。这类损失对于最终的对数和通常可以忽略,但如果需要单个极小概率或梯度,则可能很重要。对于较长的求和序列,成对求和或补偿求和可以提高精度。

无穷输入与空和

实现时必须单独处理以下特殊情况:

  • 如果至少有一个输入为 +∞+\infty,结果为 +∞+\infty。
  • 如果所有输入均为 −∞-\infty,结果为 −∞-\infty。
  • 空输入的对数和指数通常定义为 −∞-\infty,对应于扩展实数中的 log⁡0\log 0。

在前两种情况下,直接套用平移公式可能产生未定义的表达式,例如 +∞−(+∞)+\infty-(+\infty) 或 −∞−(−∞)-\infty-(-\infty)。

熵与变分表示

设

Δn={p∈Rn:pi≥0, ∑ipi=1}\Delta_n=\left\{p\in\mathbb R^n:p_i\geq0,\ \sum_i p_i=1\right\}

为概率单纯形。用自然对数度量信息熵,

H(p)=−∑ipilog⁡pi,H(p)=-\sum_i p_i\log p_i,

并约定 0log⁡0=00\log0=0,则对数和指数函数满足

LSE⁡(x)=max⁡p∈Δn{∑ipixi+H(p)}.\operatorname{LSE}(x) =\max_{p\in\Delta_n} \left\{\sum_i p_i x_i+H(p)\right\}.

使其达到最大值的唯一分布是 p=softmax⁡(x)p=\operatorname{softmax}(x)。

为说明这一点,令 qi=exi/∑jexjq_i=e^{x_i}/\sum_j e^{x_j}。KL散度满足

DKL(p∥q)=∑ipilog⁡pi−∑ipixi+LSE⁡(x).D_{\mathrm{KL}}(p\|q) =\sum_i p_i\log p_i-\sum_i p_i x_i +\operatorname{LSE}(x).

整理可得

∑ipixi+H(p)=LSE⁡(x)−DKL(p∥q),\sum_i p_i x_i+H(p) =\operatorname{LSE}(x)-D_{\mathrm{KL}}(p\|q),

其最大值在 p=qp=q 时取得。

更一般地,

Lτ(x)=max⁡p∈Δn{∑ipixi+τH(p)}.L_\tau(x) =\max_{p\in\Delta_n} \left\{\sum_i p_i x_i+\tau H(p)\right\}.

这一表示将光滑最大值刻画为输入值的期望加上一个熵项。参数 τ\tau 控制熵的贡献大小。

应用

对数域中的概率计算

对于非负权重 wiw_i,若 ai=log⁡wia_i=\log w_i,则

log⁡(∑iwi)=LSE⁡(a).\log\left(\sum_i w_i\right)=\operatorname{LSE}(a).

权重相乘转化为其对数相加,而权重相加则转化为对数和指数运算。这样就能处理涉及极小概率的计算,而不必反复将它们转换回普通尺度。

典型例子包括对高斯混合模型中的混合分量求和、计算有限隐状态的求和,以及实现隐马尔可夫模型的前向递推。在对加权似然贡献求和以计算边际似然时,也会用到这一运算。

分类损失

对于类别得分 ziz_i,归一化的类别概率满足

log⁡pi=zi−LSE⁡(z).\log p_i=z_i-\operatorname{LSE}(z).

若观测到的类别为 yy,其负对数概率为

−log⁡py=LSE⁡(z)−zy.-\log p_y=\operatorname{LSE}(z)-z_y.

这就是单个类别目标的交叉熵损失。直接实现这一合并后的表达式,可以避免对可能已下溢为零的概率取对数。

凸建模

对于仿射表达式 aiTu+bia_i^{\mathsf T}u+b_i,函数

f(u)=log⁡∑ieaiTu+bif(u)=\log\sum_i e^{a_i^{\mathsf T}u+b_i}

是凸函数。此类表达式出现在光滑最大值目标和概率模型中。它们的导数是仿射系数的加权组合,海森矩阵则是相应的协方差矩阵。

加权变体与局限性

对于不全为零的非负权重 wiw_i,加权版本为

log⁡∑iwiexi.\log\sum_i w_i e^{x_i}.

当权重均为正时,可将其改写为

LSE⁡(x1+log⁡w1,…,xn+log⁡wn).\operatorname{LSE}(x_1+\log w_1,\ldots,x_n+\log w_n).

零权重项可以省略,也可以用输入值 −∞-\infty 表示。

负权重会使问题发生本质变化。加权和可能为零或负数,而且即使每个指数项都能安全计算,相消仍可能严重损害相对精度。因此,带符号的对数表示需要在普通对数和指数运算之外进行额外处理。

普通的对数和指数函数也只是一种归一化运算,并不保证计算在实际中可行。如果一个概率模型包含指数级数量的配置,将其归一化求和改写为对数和指数形式虽然能避免某些数值问题,却无法消除计算该求和所需的开销。