{
  "id": "activation-function",
  "title": "激活函数",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "将神经网络单元的输入转换为输出的函数，通常用于引入非线性或限制输出值。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [],
  "generated_at": "2026-10-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/activation-function/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/activation-function/",
      "json": "https://aiwiki.page/en/activation-function.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "激活函数是一种函数，用于决定人工神经网络中单元或层的输出。它通常作用于输入的加权组合与偏置之和。非线性激活函数使网络能够表示仅靠仿射变换无法表达的关系；输出层的激活函数则可以将预测结果限制在特定范围内，或使其符合特定的概率分布。激活函数的数学性质既影响网络的表征能力，也影响深度学习中的学习过程。(deeplearningbook.org)"
    },
    {
      "heading": "数学形式与作用",
      "text": "对于典型的单元，其计算过程为\n\n\\[z=\\sum_{i=1}^{n}w_i x_i+b,\\qquad a=\\phi(z),\\]\n\n其中，\\(x_i\\) 为输入，\\(w_i\\) 为权重，\\(b\\) 为偏置，\\(z\\) 为预激活值，\\(\\phi\\) 为激活函数。对于全连接层，这一计算写作 \\(\\mathbf a=\\phi(W\\mathbf x+\\mathbf b)\\)，其中 \\(W\\) 为权重矩阵。大多数隐藏层激活函数独立作用于各个分量，但也有一些函数会将多个分量耦合起来。(deeplearningbook.org)\n\n在多层感知机中，如果连续的仿射变换之间没有非线性运算，那么这些变换可以合并为一个仿射变换。例如，\n\n\\[W_2(W_1\\mathbf x+\\mathbf b_1)+\\mathbf b_2 =(W_2W_1)\\mathbf x+W_2\\mathbf b_1+\\mathbf b_2.\\]\n\n因此，仅仅增加这样的层并不能赋予网络非线性表达能力。非线性激活函数使隐藏表征能够改变输入空间的几何结构，从而支持表征学习，而不只是反复进行线性预测。(en.d2l.ai)"
    },
    {
      "heading": "主要的标量函数",
      "text": "恒等函数与阈值函数。 恒等激活函数 \\(\\phi(z)=z\\) 保持输入不变，适用于需要不受约束的实数输出的场景。阈值激活函数则根据输入是否越过阈值，返回两个值中的一个。经典的感知机采用阈值判定，但阶跃函数在不连续点以外的导数均为零，因此不适合常规的基于梯度的训练。(deeplearningbook.org)\n\n逻辑斯蒂 sigmoid 函数。 逻辑斯蒂函数在神经网络语境中通常称为 sigmoid 函数，其表达式为\n\n\\[\\sigma(z)=\\frac{1}{1+e^{-z}}.\\]\n\n它将有限的实数输入映射到 \\((0,1)\\)，其导数为 \\(\\sigma(z)(1-\\sigma(z))\\)。其输出有界，因此可用于输出概率形式的预测结果，逻辑回归便是一个例子。当输入为较大的正数或绝对值较大的负数时，函数会进入饱和区，导数趋近于零。(en.d2l.ai)\n\n双曲正切函数。 双曲正切激活函数将输入映射到 \\((-1,1)\\)，其导数为 \\(1-\\tanh^2(z)\\)。与 sigmoid 函数不同，它的输出范围关于零对称。它在两端也会进入饱和区，因此导数可能变得很小。(en.d2l.ai)\n\n修正线性单元。 修正线性单元（ReLU）的表达式为\n\n\\[\\operatorname{ReLU}(z)=\\max(0,z).\\]\n\n负输入对应的输出为零，正输入对应的输出则呈线性变化。其导数在负半轴上为零，在正半轴上为一；由于零点处的通常意义下的导数不存在，具体实现会采用约定值。如果一个单元对所有相关输入都始终处于负半轴，那么就不会有梯度通过其激活函数传递，这种现象常称为“ReLU 死亡”。(deeplearningbook.org)\n\n带泄漏与参数化的修正线性函数。 带泄漏的 ReLU（Leaky ReLU）将负半轴分支替换为 \\(\\alpha z\\)，其中斜率通常为较小的正数。参数化 ReLU（PReLU）则通过学习确定这一斜率，而不是将其固定。当 \\(\\alpha\\ne0\\) 时，这些变体在负输入处仍保有非零导数。PReLU 于 2015 年的一项研究中提出，该研究还开发了适用于修正线性网络的初始化方法。(arxiv.org)"
    },
    {
      "heading": "平滑变体与指数变体",
      "text": "指数线性单元（ELU）对于非负输入取值为 \\(z\\)，对于负输入取值为 \\(\\alpha(e^z-1)\\)，其中 \\(\\alpha>0\\)。它在保留正半轴线性分支的同时，允许输出负值。其负半轴分支会趋向 \\(-\\alpha\\) 并进入饱和区。(arxiv.org)\n\n高斯误差线性单元（GELU）于 2016 年提出，其表达式为\n\n\\[\\operatorname{GELU}(z)=z\\Phi(z),\\]\n\n其中，\\(\\Phi\\) 为标准正态分布的累积分布函数。GELU 不像 ReLU 那样根据输入的正负进行硬截断，而是用 \\(\\Phi(z)\\) 对输入进行连续加权。具体实现可以使用其精确表达式，也可以使用近似式。(arxiv.org)\n\nSigmoid 线性单元（SiLU）的表达式为 \\(z\\sigma(z)\\)，采用这一形式时也称为 Swish。它平滑且非单调，有下界但无上界。这些函数在平滑性、饱和特性、输出范围和计算成本等方面有所不同；非线性并不要求函数具有单调性或有界性。(keras.io)"
    },
    {
      "heading": "输出层激活函数与概率",
      "text": "输出层激活函数的作用不同于隐藏层中的非线性函数。对于互斥的类别，Softmax函数将一个得分向量转换为各分量均为正且总和为一的向量：\n\n\\[p_i=\\frac{e^{z_i}}{\\sum_j e^{z_j}}.\\]\n\n与逐元素作用的激活函数不同，输出的每个分量都依赖于所有输入得分。一个 sigmoid 函数可以表示二分类的概率，多个独立的 sigmoid 函数则可以表示不必互斥的多个标签。恒等输出适用于无约束的回归任务，包括使用均方误差训练的模型。(keras.io)\n\n激活函数与损失函数必须结合起来理解。软件库可能将 sigmoid 函数与二元交叉熵合并为一个数值稳定的运算，并以原始得分作为输入。在这种情况下，若在计算损失之前显式应用 sigmoid 函数，就会重复执行这一变换。(docs.pytorch.org)"
    },
    {
      "heading": "与训练的相互影响",
      "text": "反向传播利用链式法则，通过激活函数的导数传递梯度。反复乘以较小的导数可能加剧梯度消失问题，尤其是在由处于饱和区的单元构成的深层网络中。激活函数的行为也与权重初始化相互影响：2010 年的一项研究分析了饱和现象以及梯度在各层之间的传播，随后又出现了专门针对修正线性函数的初始化方法。因此，激活函数的选择会与权重尺度、网络深度共同影响优化过程，而不是独立于这些因素起作用。(deeplearningbook.org)\n\n激活函数不一定是固定的标量公式。PReLU 包含通过学习得到的参数，而门控线性单元则将输入分为两部分，并计算 \\(a\\odot\\sigma(b)\\)，其中 \\(\\odot\\) 表示逐元素乘法。因此，软件库既支持简单的可调用激活函数，也支持能够维护可训练状态的专用激活层。(arxiv.org)"
    }
  ],
  "links": [
    "mathematical-function",
    "artificial-neural-network",
    "deep-learning",
    "matrix",
    "multilayer-perceptron",
    "representation-learning",
    "perceptron",
    "logistic-function",
    "derivative",
    "logistic-regression",
    "hyperbolic-functions",
    "rectified-linear-unit",
    "normal-distribution",
    "sigmoid-linear-unit",
    "softmax-function",
    "probability",
    "mean-squared-error",
    "loss-function",
    "cross-entropy",
    "backpropagation",
    "chain-rule",
    "vanishing-gradient-problem"
  ],
  "sources": [
    {
      "title": "deeplearningbook.org/contents/mlp.html",
      "url": "https://www.deeplearningbook.org/contents/mlp.html"
    },
    {
      "title": "en.d2l.ai/chapter_multilayer-perceptrons/mlp.html",
      "url": "https://en.d2l.ai/chapter_multilayer-perceptrons/mlp.html"
    },
    {
      "title": "arxiv.org/abs/1502.01852",
      "url": "https://arxiv.org/abs/1502.01852"
    },
    {
      "title": "arxiv.org/abs/1511.07289",
      "url": "https://arxiv.org/abs/1511.07289"
    },
    {
      "title": "arxiv.org/abs/1606.08415",
      "url": "https://arxiv.org/abs/1606.08415"
    },
    {
      "title": "keras.io/api/layers/activations/",
      "url": "https://keras.io/api/layers/activations/"
    },
    {
      "title": "docs.pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html",
      "url": "https://docs.pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html?highlight=criterion"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}