{
  "id": "automatic-differentiation",
  "title": "自动微分",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "自动微分通过在数值程序的运算中传播局部求导规则，计算程序所表示函数的导数。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "自动求导",
    "算法微分",
    "AD",
    "Autodiff"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/automatic-differentiation/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/automatic-differentiation/",
      "json": "https://aiwiki.page/en/automatic-differentiation.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "自动微分（AD）是一类计算技术，用于计算以计算机程序形式表达的数值函数的导数。它将链式法则应用于程序执行的基本运算，把各运算的局部导数组合成整个计算过程的导数。与有限差分近似不同，自动微分不需要引入求导步长。它是基于梯度的机器学习和数学优化的基础，也支持科学仿真和工程设计。(jmlr.org)"
    },
    {
      "heading": "数学基础",
      "text": "数值程序通过加法、乘法和初等函数等一系列运算来计算函数值。每项运算都有已知的求导规则。自动微分根据中间值之间的依赖关系组合这些规则，实质上是在对函数复合求导。其结果通常是指定输入处的导数数值，而不是经过化简的符号公式。(jmlr.org)\n\n这些依赖关系可以用计算图表示。节点代表输入、中间值和输出，边表示某项运算使用了哪些值。即使源程序包含循环，一次有限执行过程的记录也可以构成有向无环图。导数沿着这张图正向或反向传播。例如，PyTorch 在执行过程中构建其自动求导图，并在后续每次执行时重新构建，使记录的结构能够反映控制流的变化。(docs.pytorch.org)\n\n自动微分不同于通过操作表达式求导的符号微分，也不同于利用邻近点的函数值估计导数的数值微分。自动微分避免了有限差分的截断误差，但其计算仍受浮点运算和舍入误差的影响。因此，“精确导数”指的是不采用有限差分近似，而直接应用解析求导规则，并不意味着数值精度无限。(jmlr.org)"
    },
    {
      "heading": "前向模式",
      "text": "对于 \\(f:\\mathbb{R}^{n}\\rightarrow\\mathbb{R}^{m}\\)，用 \\(J_f(x)\\) 表示其雅可比矩阵。前向模式自动微分在进行常规计算的同时传播输入扰动 \\(v\\)，得到雅可比矩阵与向量的乘积：\n\n\\[\\dot y=J_f(x)v.\\]\n\n这就是输出沿 \\(v\\) 的方向导数。每个中间变量都同时携带其常规数值和切向值。对于乘法 \\(z=ab\\)，切向值的计算规则为：\n\n\\[\\dot z=\\dot a\\,b+a\\,\\dot b.\\]\n\n依次以各输入坐标方向作为初始种子，就能依次得到雅可比矩阵的各列。因此，当输入较少而输出较多时，前向模式通常更有优势。(docs.jax.dev)\n\n一种解释方式是使用对偶数，其形式为 \\(a+b\\varepsilon\\)，其中 \\(\\varepsilon^2=0\\)。对这些数对进行算术运算时，一阶导数信息会与函数值一起传播。这种代数解释说明了为什么只需实现适当的算术规则，就能把普通的数值求值转变为导数求值。(jmlr.org)"
    },
    {
      "heading": "反向模式",
      "text": "反向模式自动微分先计算函数值，再反向传播输出的敏感度。给定输出种子 \\(u\\)，它计算：\n\n\\[\\bar x=J_f(x)^{\\mathsf T}u,\\]\n\n当敏感度写成行向量时，这等价于向量与雅可比矩阵的乘积。对于标量输出，将其敏感度的初始值设为 \\(1\\)，就能得到相对于所有输入的完整梯度。当输入较多而输出较少时，反向模式通常更合适。(docs.jax.dev)\n\n考虑 \\(f(x,y)=xy+\\sin x\\)，通过 \\(a=xy\\)、\\(b=\\sin x\\) 和 \\(f=a+b\\) 依次计算。应用反向求导规则可得：\n\n\\[\\bar a=\\bar b=1,\\qquad \\bar x=y+\\cos x,\\qquad \\bar y=x.\\]\n\n由于 \\(x\\) 通过两条路径影响输出，对 \\(\\bar x\\) 的两项贡献必须相加。这个例子展示了如何累加来自具有依赖关系的运算的敏感度。(docs.pytorch.org)\n\n反向传播通常需要前向求值时产生的中间值。保存这些值会增加内存消耗。梯度检查点技术又称重新物化，通过仅保留选定的中间值，并在反向计算时重新计算其余值，减少存储需求。它以额外计算换取更低的内存占用；重新计算必须保持原求值过程的相关行为不变。(docs.pytorch.org)"
    },
    {
      "heading": "实现与高阶导数",
      "text": "自动微分系统通常采用运算符重载或程序变换。运算符重载为数值运算赋予跟踪导数的能力。程序变换则从源代码或中间表示生成导数计算过程。这些方法可以与计算图追踪和编译结合使用。它们在实践中的差异涉及所支持的语言特性、优化机会、运行时开销以及对数组运算的处理方式。(arxiv.org)\n\nTensorFlow 在梯度带中记录相关运算。PyTorch 则记录张量运算之间的依赖关系，以进行反向传播。这类系统只能对其求导机制能够追踪到的计算求导：如果将某项计算移到未被追踪的外部库中，就可能切断求导路径。因此，未连接到输出的输入与数学导数为零的输入是两种不同情况，即使某个接口提供了将两者都表示为零的选项。(tensorflow.org)\n\n导数计算本身也可以继续求导。嵌套使用前向和反向变换，可以得到包括海森矩阵在内的高阶导数。很多时候，只需要海森矩阵与向量的乘积。对于二阶连续可微的标量函数和常向量 \\(v\\)，有：\n\n\\[H_f(x)v=\\nabla_x\\!\\left(\\nabla f(x)^{\\mathsf T}v\\right).\\]\n\n这样无需显式存储完整的海森矩阵，就能为数值优化提供曲率信息。(docs.jax.dev)"
    },
    {
      "heading": "应用与局限",
      "text": "在人工神经网络中，反向传播是反向模式自动微分的一种专门应用。它计算损失函数相对于模型参数的导数，随后优化过程利用这些导数更新参数。自动微分提供的是敏感度信息，而不是规定更新规则本身。TensorFlow 的梯度带接口通过返回梯度供后续优化器使用，明确体现了这种分工。(tensorflow.org)\n\n自动微分不能使不可微函数变得可微。在不可微的折点处，库可能采用文档中说明的约定，在适用时选择一个次梯度，或返回未定义的结果。对于依赖数据的分支，求导针对的是实际执行的计算，而不是选择该分支的离散决策。无效运算也可能污染梯度：在除以零后再屏蔽其结果，并不一定能从已记录的求导图中移除这项运算。因此，正确计算导数既取决于数学假设，也取决于实现的行为。(docs.pytorch.org)"
    }
  ],
  "links": [
    "mathematical-function",
    "derivative",
    "chain-rule",
    "machine-learning",
    "mathematical-optimization",
    "function-composition",
    "computational-graph",
    "directed-acyclic-graph",
    "symbolic-differentiation",
    "numerical-differentiation",
    "floating-point-arithmetic",
    "jacobian-matrix",
    "directional-derivative",
    "dual-number",
    "gradient",
    "gradient-checkpointing",
    "tensorflow",
    "hessian-matrix",
    "artificial-neural-network",
    "backpropagation",
    "loss-function"
  ],
  "sources": [
    {
      "title": "jmlr.org/papers/volume18/17-468/17-468.pdf",
      "url": "https://jmlr.org/papers/volume18/17-468/17-468.pdf"
    },
    {
      "title": "docs.pytorch.org/docs/main/notes/autograd.html",
      "url": "https://docs.pytorch.org/docs/main/notes/autograd.html"
    },
    {
      "title": "docs.jax.dev/en/latest/jacobian-vector-products.html",
      "url": "https://docs.jax.dev/en/latest/jacobian-vector-products.html"
    },
    {
      "title": "docs.pytorch.org/docs/stable/checkpoint.html",
      "url": "https://docs.pytorch.org/docs/stable/checkpoint.html"
    },
    {
      "title": "arxiv.org/html/1810.11530",
      "url": "https://arxiv.org/html/1810.11530"
    },
    {
      "title": "tensorflow.org/guide/autodiff",
      "url": "https://www.tensorflow.org/guide/autodiff?authuser=56"
    },
    {
      "title": "docs.jax.dev/en/latest/higher-order.html",
      "url": "https://docs.jax.dev/en/latest/higher-order.html"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}