{
  "id": "sigmoid-linear-unit",
  "title": "Sigmoid线性单元",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "Sigmoid线性单元（SiLU）是一种平滑、非单调的神经网络激活函数，定义为输入与其逻辑斯蒂函数值的乘积。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "SiLU",
    "Sigmoid加权线性单元",
    "Swish"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/sigmoid-linear-unit/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/sigmoid-linear-unit/",
      "json": "https://aiwiki.page/en/sigmoid-linear-unit.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "Sigmoid线性单元（SiLU）是一种用于人工神经网络的激活函数。它将实数输入 \\(x\\) 变换为 \\(x\\sigma(x)\\)，其中 \\(\\sigma\\) 为逻辑斯蒂Sigmoid函数。SiLU是平滑函数，会保留幅度较小的负输出，并在正输入足够大时趋近于恒等函数。它也是Swish函数族中参数为一的特例，常被直接称为 Swish，但这个名称也可能指带参数的推广形式。"
    },
    {
      "heading": "定义",
      "text": "SiLU定义为\n\n\\[\\operatorname{SiLU}(x)=x\\sigma(x)=\\frac{x}{1+e^{-x}},\\]\n\n其中，逻辑斯蒂函数为\n\n\\[\\sigma(x)=\\frac{1}{1+e^{-x}}.\\]\n\n在神经网络层中，SiLU通常独立作用于输入向量或张量的每个分量。它在不改变张量形状的情况下引入非线性。标准SiLU没有可学习参数。\n\n这个函数可以理解为一种自门控机制：输入的Sigmoid函数值决定该输入自身通过的程度。较大的正值乘以接近一的系数，绝对值较大的负值则乘以接近零的系数。这描述的是确定性计算，而不是随机决定某个单元是否激活。"
    },
    {
      "heading": "数学性质",
      "text": "形状与极限\n\nSiLU在整个实数域上无限可微。其主要极限性质为\n\n\\[\\lim_{x\\to-\\infty}\\operatorname{SiLU}(x)=0^{-}, \\qquad \\lim_{x\\to+\\infty}\\bigl(\\operatorname{SiLU}(x)-x\\bigr)=0.\\]\n\n因此，它会抑制绝对值较大的负输入，而对较大的正输入表现出近似线性的行为。在原点处，\n\n\\[\\operatorname{SiLU}(0)=0.\\]\n\n与修正线性单元（ReLU）不同，SiLU不会将所有负输入都置为零。每个有限的负输入都会产生负输出。\n\nSiLU还具有非单调性。当输入从绝对值很大的负值开始增大时，输出起初下降，达到全局最小值后再上升。最小值的位置及函数值约为\n\n\\[x=-1.27846, \\qquad \\operatorname{SiLU}(x)=-0.27846.\\]\n\n因此，其值域约为 \\([-0.27846,\\infty)\\)。\n\n导数\n\n反向传播中使用的导数为\n\n\\[\\frac{d}{dx}\\operatorname{SiLU}(x) = \\sigma(x)+x\\sigma(x)\\bigl(1-\\sigma(x)\\bigr).\\]\n\n等价地，\n\n\\[\\operatorname{SiLU}'(x) = \\sigma(x)\\left[1+x\\bigl(1-\\sigma(x)\\bigr)\\right].\\]\n\n在零点处，导数为 \\(1/2\\)。当输入趋向负无穷时，导数趋近于零；当输入趋向正无穷时，导数趋近于一。在函数最小值点的左侧，导数为负；对于某些正输入，导数可以大于一。\n\n平滑性消除了ReLU在零点处导数不连续的问题，但并不保证每个网络都更容易优化。特别是，当负输入的绝对值足够大时，SiLU的导数仍然非常小，因此它并未消除梯度消失问题。"
    },
    {
      "heading": "与其他激活函数的关系",
      "text": "ReLU\n\nReLU定义为 \\(\\max(0,x)\\)。这两个函数在正输入较大时都表现出近似线性的行为，但在零点附近以及整个负半轴上有所不同：\n\n性质 | SiLU | ReLU\n处处平滑 | 是 | 否\n存在负输出 | 是 | 否\n单调 | 否 | 是\n对所有负输入都严格输出零 | 否 | 是\n基本计算 | Sigmoid与乘法 | 与零取最大值\n\n由于SiLU不存在恒为零的区间，它避免了ReLU因负半轴上的平坦分支而导致单元永久失活的特定机制。不过，梯度仍可能变得极小，而有限精度运算也可能使函数在实际计算中进入饱和状态。\n\n参数化Swish\n\n更广义的Swish函数族通常写为\n\n\\[\\operatorname{Swish}_{\\beta}(x)=x\\sigma(\\beta x).\\]\n\nSiLU恰好对应 \\(\\beta=1\\) 的情形。根据具体架构，\\(\\beta\\) 可以是固定值，也可以通过学习得到。\n\n当 \\(\\beta=0\\) 时，该函数变为 \\(x/2\\)。当正参数 \\(\\beta\\) 趋向无穷时，它逐点收敛于ReLU。因此，应将SiLU与具有可调参数的Swish版本区分开来。\n\nGELU\n\n高斯误差线性单元（GELU）具有与之相关的形式：\n\n\\[\\operatorname{GELU}(x)=x\\Phi(x),\\]\n\n其中，\\(\\Phi\\) 为标准正态分布的累积分布函数。两种函数都将输入乘以一个介于零和一之间的平滑因子。它们的整体形状相似，都有一小段负值区域，但并不相同：SiLU使用逻辑斯蒂Sigmoid函数，而精确的GELU使用高斯累积分布函数。"
    },
    {
      "heading": "历史",
      "text": "2017年，Stefan Elfwing、Eiji Uchibe和Kenji Doya在研究用于强化学习的神经网络函数逼近时，提出了“Sigmoid加权线性单元”（sigmoid-weighted linear unit）这一名称。他们的研究考察了SiLU，以及一种基于其导数的相关激活函数。\n\n同样在2017年，Prajit Ramachandran、Barret Zoph和Quoc V. Le在激活函数搜索研究中提出了Swish。Swish的形式包含参数化表达式 \\(x\\sigma(\\beta x)\\)，其中参数为一的形式与SiLU完全一致。\n\n此后的软件库和模型说明中，这两个名称都有使用。因此，在比较具体实现时，定义方程比名称本身更为准确。"
    },
    {
      "heading": "在神经网络中的应用",
      "text": "SiLU用于深度学习，包括卷积神经网络和Transformer架构中的前馈组件。它可以替换其他逐元素激活函数而不改变层的维度，但这种替换会改变模型的计算过程，并可能需要重新训练。\n\n一个相关应用是SwiGLU，这是一种用于部分大语言模型的门控前馈结构。一种常见形式为\n\n\\[\\operatorname{SwiGLU}(x) = \\left[ \\operatorname{SiLU}(xW_g+b_g) \\odot (xW_v+b_v) \\right]W_o+b_o,\\]\n\n其中，\\(W\\) 各项为可学习的权重矩阵，\\(b\\) 各项为偏置，\\(\\odot\\) 表示逐元素乘法。有些实现会省略偏置。\n\nSwiGLU并不只是SiLU的另一个名称：它将SiLU与两个输入投影、乘法门控以及一个输出投影结合起来。"
    },
    {
      "heading": "实现与局限",
      "text": "PyTorch直接提供SiLU，而TensorFlow则以SiLU或Swish的名称提供等价运算。实现时通常采用数值稳定的Sigmoid算法，而不是直接计算定义中的指数表达式。\n\n与ReLU相比，SiLU需要更多算术运算。其实际开销取决于硬件、数值精度、张量大小，以及该运算是否与前后计算融合。因此，仅凭标量公式的复杂程度，无法判断训练或神经网络推理的速度。\n\n与简单的分段线性激活函数相比，SiLU平滑且弯曲的负值区域也可能增加神经网络量化的难度。近似方法和专用计算内核可以降低这些开销，但其精度和效率取决于具体实现。\n\nSiLU并不保证比其他激活函数具有更高的准确率、更快的收敛速度或更好的泛化（机器学习）能力。结果取决于架构、初始化、优化设置和任务。它的平滑性与自门控行为是有用的设计特性，而非普遍适用的性能保证。"
    }
  ],
  "links": [
    "artificial-neural-network",
    "activation-function",
    "logistic-function",
    "rectified-linear-unit",
    "backpropagation",
    "derivative",
    "vanishing-gradient-problem",
    "reinforcement-learning",
    "deep-learning",
    "convolutional-neural-network",
    "transformer-architecture",
    "large-language-model",
    "pytorch",
    "tensorflow",
    "neural-network-inference",
    "neural-network-quantization",
    "generalization"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}