{
  "id": "bfloat16",
  "title": "Bfloat16",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "Bfloat16 是一种 16 位浮点格式，保留了 binary32 的指数范围，但精度较低，广泛用于机器学习。",
  "category": "computer-science",
  "subcategory": "hardware",
  "type": "concept",
  "aliases": [
    "BF16"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/bfloat16/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/bfloat16/",
      "json": "https://aiwiki.page/en/bfloat16.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "Bfloat16 是一种 16 比特的浮点数格式，主要用于机器学习。它将一位分配给符号、八位分配给指数，另有七位用于存储小数部分。因此，它的数值范围与 32 位单精度格式大致相同，但精度要低得多。Bfloat16 由谷歌为神经网络工作负载开发，可降低存储空间、内存数据传输量以及运算硬件需求。它通常与更高精度的累加配合使用，而不是用于计算过程中的每一步运算。"
    },
    {
      "heading": "表示方式",
      "text": "Bfloat16 的位布局如下，按从最高有效位到最低有效位的顺序列出：\n\n字段 | 位宽 | 用途\n符号 | 1 位 | 指定正负\n指数 | 8 位 | 编码数值的尺度，偏置值为 127\n小数 | 7 位 | 编码有效数的小数部分\n\n对于规格化有限数，其数值为\n\n\\[x=(-1)^s\\,2^{E-127}\\left(1+\\frac{F}{2^7}\\right),\\]\n\n其中，\\(s\\) 为符号位，\\(E\\) 为无符号指数字段，\\(F\\) 为无符号小数字段。规格化数的指数字段取值为 1 至 254。\n\n前导的 1 是隐含的，因此，尽管只存储了七位小数，规格化 bfloat16 数仍具有八位二进制有效数精度。这相当于约 2.4 位十进制数字的精度，但并不保证所有具有这么多位有效数字的十进制数都能被精确表示。\n\n指数字段的边界值具有特殊含义：\n\n- **\\(E=0,\\ F=0\\)：**正零或负零。\n- **\\(E=0,\\ F\\ne0\\)：**非规格化数，前提是具体实现支持。\n- **\\(E=255,\\ F=0\\)：**正无穷大或负无穷大。\n- \\(E=255,\\ F\\ne0\\)：非数（NaN）。\n\n对于非规格化编码，隐含的前导位为零，因此有\n\n\\[x=(-1)^s\\,2^{-126}\\frac{F}{2^7}.\\]\n\n编码能够表示非规格化数，并不意味着所有处理器都会在运算中保留这些数。一些实现会将非规格化的输入或结果直接置零。"
    },
    {
      "heading": "范围与精度",
      "text": "Bfloat16 最主要的设计取舍是保留 binary32（也称 FP32）的八位指数，同时缩短有效数。\n\n属性 | Bfloat16 | IEEE binary16，通常称为 FP16 | IEEE binary32，通常称为 FP32\n总位数 | 16 | 16 | 32\n指数位数 | 8 | 5 | 8\n存储的小数位数 | 7 | 10 | 23\n规格化数的有效数精度 | 8 位 | 11 位 | 24 位\n最小正规格化数 | \\(2^{-126}\\) | \\(2^{-14}\\) | \\(2^{-126}\\)\n最大有限值，近似值 | \\(3.39\\times10^{38}\\) | \\(6.55\\times10^4\\) | \\(3.40\\times10^{38}\\)\n\n与 binary16 相比，bfloat16 能够表示绝对值大得多和小得多的数，但在给定区间内能区分的数值更少。因此，它是以精度换取范围，而不只是以准确性换取更小的存储空间。\n\nBfloat16 的一些重要数值如下：\n\n\\[\\begin{aligned} \\text{smallest positive normal} &=2^{-126} \\approx 1.17549\\times10^{-38},\\\\ \\text{smallest positive subnormal} &=2^{-133} \\approx 9.18355\\times10^{-41},\\\\ \\text{largest finite value} &=(2-2^{-7})2^{127} \\approx 3.38953\\times10^{38}. \\end{aligned}\\]\n\n1 与比它大的下一个可表示值之间的间隔为\n\n\\[\\epsilon=2^{-7}=0.0078125.\\]\n\n采用舍入到最近值的规则时，对于远离上溢和下溢边界的规格化结果，通常的相对舍入误差上界为 \\(2^{-8}\\)，即约 0.39%。\n\n数值间隔会随绝对值增大而增大。在 1 与 2 之间，相邻数值的间隔为 \\(1/128\\)；在 128 与 256 之间，间隔为 1。从 \\(-256\\) 到 \\(256\\) 的每个整数都能被精确表示，但超出这一区间后，并非每个整数都能被精确表示。\n\n因此，bfloat16 和 binary32 的规格化数具有相同的指数上下限，但可表示数值的集合并不完全相同。Binary32 的最大有限值略大，而且支持小得多的非规格化数。"
    },
    {
      "heading": "转换与运算",
      "text": "与 binary32 的关系\n\nBfloat16 的布局与 binary32 编码中最高的 16 位一致：包括符号位、全部八个指数位，以及前七个小数位。\n\n在表示层面，只需在末尾补上 16 个值为零的小数位，就能将 bfloat16 值扩展为 binary32。所有有限的 bfloat16 值都可以用 binary32 精确表示。\n\n反向转换通常会丢失信息。直接丢弃低 16 位会截断有效数；而正确舍入的转换则可能根据舍入规则，将保留的部分加一。常见规则包括舍入到最近值、中间值取偶数，但所支持的舍入模式取决于指令或软件实现。\n\n转换还需要妥善处理特殊值。尤其是，NaN 的转换必须保留 NaN 编码，而不能意外生成无穷大。\n\n存储精度与累加精度\n\n存储操作数所用的数据类型，不必与累加结果所用的数据类型相同。在混合精度计算中，常见做法是将 bfloat16 输入相乘，再以 FP32 精度累加结果。这对于矩阵乘法和点积尤其重要，因为这些运算需要将大量乘积相加：\n\n\\[c_{ij}=\\sum_k a_{ik}b_{kj}.\\]\n\n使用 FP32 累加器，可以减少将累加过程中的和反复舍入为 bfloat16 所产生的舍入误差。不过，它无法恢复输入转换为 bfloat16 时已经丢失的信息。不同硬件对中间乘积、加法分组、非规格化数和异常值的处理也可能有所不同。\n\nBfloat16 遵循了IEEE 754浮点运算标准中的若干常见约定，包括采用带偏置的指数，以及为无穷大和 NaN 设置编码。不过，它与 IEEE binary16 不同，而且仅凭这一名称，无法确定具体实现的全部运算行为细节。"
    },
    {
      "heading": "在机器学习中的应用",
      "text": "训练\n\n深度学习往往依赖涉及模型权重、激活值和梯度的大规模矩阵运算。这类工作负载中的许多计算环节可以容忍较低的有效数精度，但仍然需要较宽的数值范围。\n\nBfloat16 具有以下几项实际优势：\n\n- **减少存储空间：**与等价的 FP32 数组相比，数组占用的原始存储空间减半。\n- **减少内存数据传输量：**传输两字节元素而非四字节元素，可以降低带宽需求。\n- **提高运算硬件效率：**较短的有效数可以降低乘法器复杂度，并支持更高的运算吞吐量。\n- **较宽的指数范围：**与 binary16 相比，小梯度和大激活值更不容易超出其规格化数的指数范围。\n\n这些特性在反向传播中很有用，但并不意味着所有运算都同样适合降低精度。训练系统通常会为优化器状态、部分归约运算、归一化计算或参数更新保留较高精度。\n\n例如，如果某个权重及其更新后的值被舍入为同一个 bfloat16 数，那么这次微小更新就可能丢失。一些混合精度训练系统通过保留一份 FP32 权重主副本来解决这一问题；具体安排因框架和优化器而异。\n\nBinary16 训练通常使用损失缩放，即对损失函数进行缩放，以帮助防止小梯度下溢。由于 bfloat16 的指数范围宽得多，bfloat16 训练通常不需要采用这一特定技术。不过，宽广的数值范围并不能防止所有数值问题。\n\n推理\n\nBfloat16 也用于神经网络推理，包括大语言模型的推理。以 bfloat16 存储的模型参数和中间激活值，比采用 FP32 存储时占用更少内存。\n\nBfloat16 不同于基于整数的神经网络量化。它为每个数值保留浮点指数，本身不要求为张量或一组数值单独选择缩放因子。不过，它通常也比 8 位或 4 位表示占用更多存储空间。\n\n在同一次模型执行过程中，权重、中间计算、累加器和输出可以采用不同的精度。"
    },
    {
      "heading": "发展与硬件支持",
      "text": "bfloat16 这一名称源自 Brain floating point，反映了它起源于谷歌 Brain 的研究工作。它随着谷歌张量处理单元的应用而广为人知，尤其是这些处理器采用了 bfloat16 乘法与 FP32 累加相结合的方式。\n\n随后，支持范围扩展到了中央处理器和图形处理器。例如，支持 AVX-512 BF16 或具备相应高级矩阵扩展（Advanced Matrix Extensions）支持的英特尔处理器，以及具备相应 Tensor Core 支持的 NVIDIA GPU。具体是否可用以及吞吐量如何，取决于处理器代际和指令集。\n\nTensorFlow 和 PyTorch 等框架提供了 bfloat16 数据类型和混合精度功能。仅有软件支持并不能保证加速：不受支持的运算可能需要进行类型转换、改用其他精度执行，或通过仿真实现。"
    },
    {
      "heading": "局限性",
      "text": "Bfloat16 的有效数较短，因此不适合作为 FP32 或 FP64 的通用替代格式。其主要数值局限包括：\n\n- **分辨率较低：**相近的数值可能被舍入为同一个表示值。\n- **微小更新丢失：**将一个小量加到远大于它的数上时，存储的结果可能保持不变。\n- **相消：**两个十分接近的数相减，可能使先前舍入引入的误差显现出来。\n- **累加误差：**如果不采用更高精度的累加，长序列求和可能损失大量准确性。\n- **实现差异：**舍入、非规格化数处理和运算顺序，都可能使不同设备得出不同结果。\n\n对数值误差敏感的科学计算、病态问题，以及要求严格误差界限的计算，可能需要高得多的精度。即使在机器学习中，数值上是否适用，也取决于模型、运算、训练配置和硬件。\n\n元素存储空间减半，也不意味着应用速度会翻倍，或总内存用量会减半。实际收益取决于硬件吞吐量、内存带宽、转换开销，以及仍以较高精度存储的数据所占的比例。"
    }
  ],
  "links": [
    "bit",
    "floating-point-arithmetic",
    "machine-learning",
    "google",
    "not-a-number",
    "matrix",
    "ieee-seven-five-four",
    "deep-learning",
    "backpropagation",
    "loss-function",
    "neural-network-inference",
    "large-language-model",
    "neural-network-quantization",
    "tensor-processing-unit",
    "central-processing-unit",
    "graphics-processing-unit",
    "tensorflow",
    "pytorch"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}