逻辑斯蒂函数是一种光滑的函数,描述两个极限值之间的S形过渡。其标准形式为 ,将任意实数映射到开区间 。它广泛用于有界的种群增长模型、统计学和机器学习,可将不受范围限制的数值评分转换为可解释为概率的值。标准逻辑斯蒂函数常被称为 sigmoid 函数,但 sigmoid 的含义更广泛,泛指一类S形函数。(arxiv.org)
定义与参数
一种常用的参数化形式为
其中, 是上限值, 控制曲线的陡峭程度, 确定中点的位置。这一形式由标准函数平移和缩放而来,满足 。当 时,其极限为零;当 时,其极限为 。 为负时,过渡方向反转; 时,函数恒等于 。这些性质都可由定义式直接得出。(arxiv.org)
标准函数对应于 、。它满足
因此,其图像关于点 中心对称。它与双曲函数的关系为
因此,逻辑斯蒂 sigmoid 函数与双曲正切函数的区别仅在于输入和输出的缩放与平移。(stat.ethz.ch)
微积分与反函数
对标准函数求导,可得一个特别实用的恒等式:
该导数处处为正,说明函数严格单调递增。导数的最大值为 ,在 处取得。再次求导得
因此,输入为负时曲线是凸的,输入为正时曲线是凹的,拐点位于零处。对于参数化曲线,最大斜率为 ,在 处取得。这些结果都可直接通过求导得到。(developers.google.com)
标准函数的反函数是对数几率函数:
比值 称为几率,因此逻辑斯蒂函数将对数几率转换为概率。它也因此被称为逆对数几率函数或 expit。(stat.ethz.ch)
它的不定积分可用初等函数表示如下,对右侧表达式求导即可验证:
该函数光滑,且导数形式简单,因而便于进行解析计算和基于梯度的计算。(classic.d2l.ai)
逻辑斯蒂增长
逻辑斯蒂增长方程是一个一阶微分方程:
其中, 表示种群数量, 是内禀增长率参数, 是环境容纳量。该方程描述了种群数量接近固定的环境上限时,人均增长率逐渐下降的现象。这个方程与皮埃尔-弗朗索瓦·费尔许尔斯特有关。(arxiv.org)
若 ,且 ,其解为
这是一条逻辑斯蒂曲线,其中点对应的时间为 。当 时,该方程近似描述指数增长;当 接近 时,增长逐渐放缓并趋于零。绝对增长率在 时达到最大。该模型假定参数固定,且种群对密度变化的响应是即时的,并未纳入资源变化或延迟效应。(arxiv.org)
概率分布
逻辑斯蒂函数也是逻辑斯蒂分布的累积分布函数。对于位置参数 和尺度参数 ,有
其概率密度函数为
该分布关于 对称,期望值为 ,方差为 。应注意区分其S形的累积分布曲线与钟形的概率密度曲线。(stat.ethz.ch)
统计学习与神经网络
在逻辑回归中,由输入特征构成的评分被转换为条件概率:
由此,模型使对数几率成为特征的线性函数,同时确保有限评分所对应的预测概率严格介于零和一之间。该函数本身并不是分类器:要将概率转换为类别,还需要单独设置决策阈值。(developers.google.com)
代入 并求导,可得 。这一简洁的表达式在训练中很有用。(developers.google.com)
在人工神经网络中,逻辑斯蒂 sigmoid 函数可用作激活函数。当输入的绝对值很大时,其导数趋于零。在反向传播过程中,较小的导数反复相乘可能导致梯度消失问题,尤其是在跨越许多层时。(classic.d2l.ai)
数值计算
在浮点运算中,直接计算可能遇到溢出或精度损失。一个代数上等价的分段形式为
这种形式避免了对很大的正数计算指数函数。数学上的输出始终严格位于 内,但有限精度的计算结果可能舍入到区间端点。专门计算 的实现可以避免先对 sigmoid 值舍入、再取对数时可能发生的精度损失。(docs.scipy.org)
参考来源
- arxiv.org/abs/0706.3163arxiv.org
- stat.ethz.ch/R-manual/R-devel/library/stats/html/Logistic.htmlstat.ethz.ch
- developers.google.com/machine-learning/glossary/fundamentalsdevelopers.google.com
- classic.d2l.ai/chapter_multilayer-perceptrons/numerical-stability-and-init.htmlclassic.d2l.ai
- developers.google.com/machine-learning/crash-course/logistic-regression/sigmoid…developers.google.com
- developers.google.com/machine-learning/crash-course/logistic-regression/loss-re…developers.google.com
- docs.scipy.org/doc/scipy/reference/generated/scipy.special.expit.htmldocs.scipy.org