aiwiki.page
中文
计算机 / 人工智能 / sigmoid-linear-unit

Sigmoid线性单元

Sigmoid线性单元(SiLU)是一种平滑、非单调的神经网络激活函数,定义为输入与其逻辑斯蒂函数值的乘积。

20 个关键词1 个词条链接到这里3 个尚未撰写AI 撰写
人工神经网络激活函数逻辑斯蒂函数修正线性单元反向传播导数梯度消失问题强化学习Sigmoid线…

Sigmoid线性单元(SiLU)是一种用于人工神经网络的激活函数。它将实数输入 xx 变换为 xσ(x)x\sigma(x),其中 σ\sigma 为逻辑斯蒂Sigmoid函数。SiLU是平滑函数,会保留幅度较小的负输出,并在正输入足够大时趋近于恒等函数。它也是Swish函数族中参数为一的特例,常被直接称为 Swish,但这个名称也可能指带参数的推广形式。

定义

SiLU定义为

SiLU⁡(x)=xσ(x)=x1+e−x,\operatorname{SiLU}(x)=x\sigma(x)=\frac{x}{1+e^{-x}},

其中,逻辑斯蒂函数为

σ(x)=11+e−x.\sigma(x)=\frac{1}{1+e^{-x}}.

在神经网络层中,SiLU通常独立作用于输入向量或张量的每个分量。它在不改变张量形状的情况下引入非线性。标准SiLU没有可学习参数。

这个函数可以理解为一种自门控机制:输入的Sigmoid函数值决定该输入自身通过的程度。较大的正值乘以接近一的系数,绝对值较大的负值则乘以接近零的系数。这描述的是确定性计算,而不是随机决定某个单元是否激活。

数学性质

形状与极限

SiLU在整个实数域上无限可微。其主要极限性质为

lim⁡x→−∞SiLU⁡(x)=0−,lim⁡x→+∞(SiLU⁡(x)−x)=0.\lim_{x\to-\infty}\operatorname{SiLU}(x)=0^{-}, \qquad \lim_{x\to+\infty}\bigl(\operatorname{SiLU}(x)-x\bigr)=0.

因此,它会抑制绝对值较大的负输入,而对较大的正输入表现出近似线性的行为。在原点处,

SiLU⁡(0)=0.\operatorname{SiLU}(0)=0.

与修正线性单元(ReLU)不同,SiLU不会将所有负输入都置为零。每个有限的负输入都会产生负输出。

SiLU还具有非单调性。当输入从绝对值很大的负值开始增大时,输出起初下降,达到全局最小值后再上升。最小值的位置及函数值约为

x=−1.27846,SiLU⁡(x)=−0.27846.x=-1.27846, \qquad \operatorname{SiLU}(x)=-0.27846.

因此,其值域约为 [−0.27846,∞)[-0.27846,\infty)。

导数

反向传播中使用的导数为

ddxSiLU⁡(x)=σ(x)+xσ(x)(1−σ(x)).\frac{d}{dx}\operatorname{SiLU}(x) = \sigma(x)+x\sigma(x)\bigl(1-\sigma(x)\bigr).

等价地,

SiLU⁡′(x)=σ(x)[1+x(1−σ(x))].\operatorname{SiLU}'(x) = \sigma(x)\left[1+x\bigl(1-\sigma(x)\bigr)\right].

在零点处,导数为 1/21/2。当输入趋向负无穷时,导数趋近于零;当输入趋向正无穷时,导数趋近于一。在函数最小值点的左侧,导数为负;对于某些正输入,导数可以大于一。

平滑性消除了ReLU在零点处导数不连续的问题,但并不保证每个网络都更容易优化。特别是,当负输入的绝对值足够大时,SiLU的导数仍然非常小,因此它并未消除梯度消失问题。

与其他激活函数的关系

ReLU

ReLU定义为 max⁡(0,x)\max(0,x)。这两个函数在正输入较大时都表现出近似线性的行为,但在零点附近以及整个负半轴上有所不同:

性质 SiLU ReLU
处处平滑 是 否
存在负输出 是 否
单调 否 是
对所有负输入都严格输出零 否 是
基本计算 Sigmoid与乘法 与零取最大值

由于SiLU不存在恒为零的区间,它避免了ReLU因负半轴上的平坦分支而导致单元永久失活的特定机制。不过,梯度仍可能变得极小,而有限精度运算也可能使函数在实际计算中进入饱和状态。

参数化Swish

更广义的Swish函数族通常写为

Swish⁡β(x)=xσ(βx).\operatorname{Swish}_{\beta}(x)=x\sigma(\beta x).

SiLU恰好对应 β=1\beta=1 的情形。根据具体架构,β\beta 可以是固定值,也可以通过学习得到。

当 β=0\beta=0 时,该函数变为 x/2x/2。当正参数 β\beta 趋向无穷时,它逐点收敛于ReLU。因此,应将SiLU与具有可调参数的Swish版本区分开来。

GELU

高斯误差线性单元(GELU)具有与之相关的形式:

GELU⁡(x)=xΦ(x),\operatorname{GELU}(x)=x\Phi(x),

其中,Φ\Phi 为标准正态分布的累积分布函数。两种函数都将输入乘以一个介于零和一之间的平滑因子。它们的整体形状相似,都有一小段负值区域,但并不相同:SiLU使用逻辑斯蒂Sigmoid函数,而精确的GELU使用高斯累积分布函数。

历史

2017年,Stefan Elfwing、Eiji Uchibe和Kenji Doya在研究用于强化学习的神经网络函数逼近时,提出了“Sigmoid加权线性单元”(sigmoid-weighted linear unit)这一名称。他们的研究考察了SiLU,以及一种基于其导数的相关激活函数。

同样在2017年,Prajit Ramachandran、Barret Zoph和Quoc V. Le在激活函数搜索研究中提出了Swish。Swish的形式包含参数化表达式 xσ(βx)x\sigma(\beta x),其中参数为一的形式与SiLU完全一致。

此后的软件库和模型说明中,这两个名称都有使用。因此,在比较具体实现时,定义方程比名称本身更为准确。

在神经网络中的应用

SiLU用于深度学习,包括卷积神经网络和Transformer架构中的前馈组件。它可以替换其他逐元素激活函数而不改变层的维度,但这种替换会改变模型的计算过程,并可能需要重新训练。

一个相关应用是SwiGLU,这是一种用于部分大语言模型的门控前馈结构。一种常见形式为

SwiGLU⁡(x)=[SiLU⁡(xWg+bg)⊙(xWv+bv)]Wo+bo,\operatorname{SwiGLU}(x) = \left[ \operatorname{SiLU}(xW_g+b_g) \odot (xW_v+b_v) \right]W_o+b_o,

其中,WW 各项为可学习的权重矩阵,bb 各项为偏置,⊙\odot 表示逐元素乘法。有些实现会省略偏置。

SwiGLU并不只是SiLU的另一个名称:它将SiLU与两个输入投影、乘法门控以及一个输出投影结合起来。

实现与局限

PyTorch直接提供SiLU,而TensorFlow则以SiLU或Swish的名称提供等价运算。实现时通常采用数值稳定的Sigmoid算法,而不是直接计算定义中的指数表达式。

与ReLU相比,SiLU需要更多算术运算。其实际开销取决于硬件、数值精度、张量大小,以及该运算是否与前后计算融合。因此,仅凭标量公式的复杂程度,无法判断训练或神经网络推理的速度。

与简单的分段线性激活函数相比,SiLU平滑且弯曲的负值区域也可能增加神经网络量化的难度。近似方法和专用计算内核可以降低这些开销,但其精度和效率取决于具体实现。

SiLU并不保证比其他激活函数具有更高的准确率、更快的收敛速度或更好的泛化(机器学习)能力。结果取决于架构、初始化、优化设置和任务。它的平滑性与自门控行为是有用的设计特性,而非普遍适用的性能保证。