对数和指数函数是对若干指数值之和取自然对数的实值函数。对于具有 n≥1 个有限实数分量的向量 x=(x1,…,xn),其定义为
LSE(x)=log(i=1∑nexi).
它广泛用于凸优化、统计学和机器学习,既可作为最大值函数的光滑近似,也是对数域计算中的一项基本运算。其导数与Softmax函数直接相关,而一个等价的平移公式则能在各个指数项直接计算会溢出的情况下,仍可靠地求出函数值。
定义与基本性质
定义中使用的是以 e 为底的指数函数。以下恒等式说明了对数和指数函数的性质。
平移等变性。 给每个输入都加上相同的常数 c,结果也会增加 c:
LSE(x+c1)=c+LSE(x),
其中,1 是所有分量均为一的向量。
对称性与单调性。 任意置换输入的顺序,结果保持不变。在其他输入不变的情况下,增大任一输入都会使结果严格增大。
与最大值的界限关系。 若 m=maxixi,则
m≤LSE(x)≤m+logn.
这是因为
em≤i∑exi≤nem.
当所有输入相等时,达到上界。当 n>1 且所有输入均为有限值时,左侧不等式严格成立;不过,当某个输入远大于其他输入时,两者之差可以趋近于零。
例如,
LSE(0,0)=log2,
而
LSE(10,0)=10+log(1+e−10)
仅略大于 10。
分组计算。 对数和指数函数可以分阶段求值:
LSE(a,b,c)=LSE(LSE(a,b),c).
这一恒等式在实数运算中精确成立。在浮点运算中,不同的分组顺序可能产生略有差异的结果。
最大值的光滑近似
引入一个通常称为温度的正尺度参数 τ,可得到函数族
Lτ(x)=τlog(i=1∑nexi/τ),τ>0.
与最大值的界限关系变为
imaxxi≤Lτ(x)≤imaxxi+τlogn.
因此,
τ→0+limLτ(x)=imaxxi.
对于固定的 n,所有实数输入向量上的近似误差都一致地以 τlogn 为上界。这提供了一种误差可控的方法,用无穷次可微函数替代不光滑的最大值函数。
一种相关但不同的归一化形式是
τlog(n1i=1∑nexi/τ)=Lτ(x)−τlogn.
这一对数平均指数表达式从下方而非上方逼近最大值。当 τ→∞ 时,它还会趋近于算术平均值,而未归一化的 Lτ 则包含不断增大的项 τlogn。
光滑化并不会保留最大值函数的所有特征。在正温度下,每个有限输入都会对结果有所贡献;当多个输入并列为最大值时,还会产生反映其个数的额外贡献。
导数、Softmax与凸性
定义
pi=∑jexjexi.
对数和指数函数的梯度就是Softmax函数:
∂xi∂LSE(x)=pi.
因此,其梯度的各分量均为正数且总和为一,可以解释为输入索引上的离散概率分布。
其海森矩阵为
∇2LSE(x)=diag(p)−ppT.
对于任意向量 v,
vT∇2LSE(x)v=i∑pivi2−(i∑pivi)2≥0.
右侧是在概率 pi 下各值 vi 的方差。因此,海森矩阵是半正定的,这说明对数和指数函数是凸函数。
它在整个 Rn 上并非严格凸函数:由于平移等变性,它沿全一向量方向是仿射的。对于有限输入,这是海森矩阵唯一的零方向。当 n>1 时,该函数在子空间 ∑ixi=0 上的限制是严格凸的。
对于按温度缩放的函数,
∇Lτ(x)=softmax(x/τ),
且
∇2Lτ(x)=τ1(diag(p)−ppT).
温度越低,梯度权重就越集中于最大的输入。如果多个输入并列为最大值,那么当 τ→0+ 时,梯度会收敛到在这些最大值对应索引上均匀分配权重的向量。
数值稳定的求值方法
即使最终结果可以表示,直接计算 log∑iexi 也可能失败。较大的正输入可能导致指数运算上溢;足够小的负输入则可能使所有指数项都下溢为零。
标准的稳定公式使用 m=maxixi:
LSE(x)=m+log(i=1∑nexi−m).
平移后的求和式中,每个指数项都位于 (0,1] 内,且至少有一项等于 1。这既避免了指数运算上溢,也防止了整个和下溢为零。
例如,
LSE(1000,1000)=1000+log2,
尽管在常见的浮点格式中,直接计算 e1000 会发生上溢。
对于两个输入,一个实用的形式是
LSE(a,b)=max(a,b)+log(1+e−∣a−b∣).
其中的对数修正项可以用 log1p 求值;这个数值例程专门用于在 u 很小时精确计算 log(1+u)。特别地,
log(1+ex)=max(0,x)+log(1+e−∣x∣)
是Softplus函数的一个稳定表达式。
平移提高了数值稳定性,但并不能使计算完全精确。较小的贡献仍可能因舍入或下溢而丢失,尤其是在低精度计算中。这类损失对于最终的对数和通常可以忽略,但如果需要单个极小概率或梯度,则可能很重要。对于较长的求和序列,成对求和或补偿求和可以提高精度。
无穷输入与空和
实现时必须单独处理以下特殊情况:
- 如果至少有一个输入为 +∞,结果为 +∞。
- 如果所有输入均为 −∞,结果为 −∞。
- 空输入的对数和指数通常定义为 −∞,对应于扩展实数中的 log0。
在前两种情况下,直接套用平移公式可能产生未定义的表达式,例如 +∞−(+∞) 或 −∞−(−∞)。
熵与变分表示
设
Δn={p∈Rn:pi≥0, i∑pi=1}
为概率单纯形。用自然对数度量信息熵,
H(p)=−i∑pilogpi,
并约定 0log0=0,则对数和指数函数满足
LSE(x)=p∈Δnmax{i∑pixi+H(p)}.
使其达到最大值的唯一分布是 p=softmax(x)。
为说明这一点,令 qi=exi/∑jexj。KL散度满足
DKL(p∥q)=i∑pilogpi−i∑pixi+LSE(x).
整理可得
i∑pixi+H(p)=LSE(x)−DKL(p∥q),
其最大值在 p=q 时取得。
更一般地,
Lτ(x)=p∈Δnmax{i∑pixi+τH(p)}.
这一表示将光滑最大值刻画为输入值的期望加上一个熵项。参数 τ 控制熵的贡献大小。
应用
对数域中的概率计算
对于非负权重 wi,若 ai=logwi,则
log(i∑wi)=LSE(a).
权重相乘转化为其对数相加,而权重相加则转化为对数和指数运算。这样就能处理涉及极小概率的计算,而不必反复将它们转换回普通尺度。
典型例子包括对高斯混合模型中的混合分量求和、计算有限隐状态的求和,以及实现隐马尔可夫模型的前向递推。在对加权似然贡献求和以计算边际似然时,也会用到这一运算。
分类损失
对于类别得分 zi,归一化的类别概率满足
logpi=zi−LSE(z).
若观测到的类别为 y,其负对数概率为
−logpy=LSE(z)−zy.
这就是单个类别目标的交叉熵损失。直接实现这一合并后的表达式,可以避免对可能已下溢为零的概率取对数。
凸建模
对于仿射表达式 aiTu+bi,函数
f(u)=logi∑eaiTu+bi
是凸函数。此类表达式出现在光滑最大值目标和概率模型中。它们的导数是仿射系数的加权组合,海森矩阵则是相应的协方差矩阵。
加权变体与局限性
对于不全为零的非负权重 wi,加权版本为
logi∑wiexi.
当权重均为正时,可将其改写为
LSE(x1+logw1,…,xn+logwn).
零权重项可以省略,也可以用输入值 −∞ 表示。
负权重会使问题发生本质变化。加权和可能为零或负数,而且即使每个指数项都能安全计算,相消仍可能严重损害相对精度。因此,带符号的对数表示需要在普通对数和指数运算之外进行额外处理。
普通的对数和指数函数也只是一种归一化运算,并不保证计算在实际中可行。如果一个概率模型包含指数级数量的配置,将其归一化求和改写为对数和指数形式虽然能避免某些数值问题,却无法消除计算该求和所需的开销。