Sigmoid线性单元(SiLU)是一种用于人工神经网络的激活函数。它将实数输入 变换为 ,其中 为逻辑斯蒂Sigmoid函数。SiLU是平滑函数,会保留幅度较小的负输出,并在正输入足够大时趋近于恒等函数。它也是Swish函数族中参数为一的特例,常被直接称为 Swish,但这个名称也可能指带参数的推广形式。
定义
SiLU定义为
其中,逻辑斯蒂函数为
在神经网络层中,SiLU通常独立作用于输入向量或张量的每个分量。它在不改变张量形状的情况下引入非线性。标准SiLU没有可学习参数。
这个函数可以理解为一种自门控机制:输入的Sigmoid函数值决定该输入自身通过的程度。较大的正值乘以接近一的系数,绝对值较大的负值则乘以接近零的系数。这描述的是确定性计算,而不是随机决定某个单元是否激活。
数学性质
形状与极限
SiLU在整个实数域上无限可微。其主要极限性质为
因此,它会抑制绝对值较大的负输入,而对较大的正输入表现出近似线性的行为。在原点处,
与修正线性单元(ReLU)不同,SiLU不会将所有负输入都置为零。每个有限的负输入都会产生负输出。
SiLU还具有非单调性。当输入从绝对值很大的负值开始增大时,输出起初下降,达到全局最小值后再上升。最小值的位置及函数值约为
因此,其值域约为 。
导数
等价地,
在零点处,导数为 。当输入趋向负无穷时,导数趋近于零;当输入趋向正无穷时,导数趋近于一。在函数最小值点的左侧,导数为负;对于某些正输入,导数可以大于一。
平滑性消除了ReLU在零点处导数不连续的问题,但并不保证每个网络都更容易优化。特别是,当负输入的绝对值足够大时,SiLU的导数仍然非常小,因此它并未消除梯度消失问题。
与其他激活函数的关系
ReLU
ReLU定义为 。这两个函数在正输入较大时都表现出近似线性的行为,但在零点附近以及整个负半轴上有所不同:
| 性质 | SiLU | ReLU |
|---|---|---|
| 处处平滑 | 是 | 否 |
| 存在负输出 | 是 | 否 |
| 单调 | 否 | 是 |
| 对所有负输入都严格输出零 | 否 | 是 |
| 基本计算 | Sigmoid与乘法 | 与零取最大值 |
由于SiLU不存在恒为零的区间,它避免了ReLU因负半轴上的平坦分支而导致单元永久失活的特定机制。不过,梯度仍可能变得极小,而有限精度运算也可能使函数在实际计算中进入饱和状态。
参数化Swish
更广义的Swish函数族通常写为
SiLU恰好对应 的情形。根据具体架构, 可以是固定值,也可以通过学习得到。
当 时,该函数变为 。当正参数 趋向无穷时,它逐点收敛于ReLU。因此,应将SiLU与具有可调参数的Swish版本区分开来。
GELU
高斯误差线性单元(GELU)具有与之相关的形式:
其中, 为标准正态分布的累积分布函数。两种函数都将输入乘以一个介于零和一之间的平滑因子。它们的整体形状相似,都有一小段负值区域,但并不相同:SiLU使用逻辑斯蒂Sigmoid函数,而精确的GELU使用高斯累积分布函数。
历史
2017年,Stefan Elfwing、Eiji Uchibe和Kenji Doya在研究用于强化学习的神经网络函数逼近时,提出了“Sigmoid加权线性单元”(sigmoid-weighted linear unit)这一名称。他们的研究考察了SiLU,以及一种基于其导数的相关激活函数。
同样在2017年,Prajit Ramachandran、Barret Zoph和Quoc V. Le在激活函数搜索研究中提出了Swish。Swish的形式包含参数化表达式 ,其中参数为一的形式与SiLU完全一致。
此后的软件库和模型说明中,这两个名称都有使用。因此,在比较具体实现时,定义方程比名称本身更为准确。
在神经网络中的应用
SiLU用于深度学习,包括卷积神经网络和Transformer架构中的前馈组件。它可以替换其他逐元素激活函数而不改变层的维度,但这种替换会改变模型的计算过程,并可能需要重新训练。
一个相关应用是SwiGLU,这是一种用于部分大语言模型的门控前馈结构。一种常见形式为
其中, 各项为可学习的权重矩阵, 各项为偏置, 表示逐元素乘法。有些实现会省略偏置。
SwiGLU并不只是SiLU的另一个名称:它将SiLU与两个输入投影、乘法门控以及一个输出投影结合起来。
实现与局限
PyTorch直接提供SiLU,而TensorFlow则以SiLU或Swish的名称提供等价运算。实现时通常采用数值稳定的Sigmoid算法,而不是直接计算定义中的指数表达式。
与ReLU相比,SiLU需要更多算术运算。其实际开销取决于硬件、数值精度、张量大小,以及该运算是否与前后计算融合。因此,仅凭标量公式的复杂程度,无法判断训练或神经网络推理的速度。
与简单的分段线性激活函数相比,SiLU平滑且弯曲的负值区域也可能增加神经网络量化的难度。近似方法和专用计算内核可以降低这些开销,但其精度和效率取决于具体实现。
SiLU并不保证比其他激活函数具有更高的准确率、更快的收敛速度或更好的泛化(机器学习)能力。结果取决于架构、初始化、优化设置和任务。它的平滑性与自门控行为是有用的设计特性,而非普遍适用的性能保证。