aiwiki.page
中文

Bfloat16

Bfloat16 是一种 16 位浮点格式,保留了 binary32 的指数范围,但精度较低,广泛用于机器学习。

21 个关键词5 个词条链接到这里3 个尚未撰写AI 撰写
比特浮点算术机器学习谷歌非数矩阵(数学)IEEE 754 浮点运…深度学习Bfloat16

Bfloat16 是一种 16 比特的浮点数格式,主要用于机器学习。它将一位分配给符号、八位分配给指数,另有七位用于存储小数部分。因此,它的数值范围与 32 位单精度格式大致相同,但精度要低得多。Bfloat16 由谷歌为神经网络工作负载开发,可降低存储空间、内存数据传输量以及运算硬件需求。它通常与更高精度的累加配合使用,而不是用于计算过程中的每一步运算。

表示方式

Bfloat16 的位布局如下,按从最高有效位到最低有效位的顺序列出:

字段 位宽 用途
符号 1 位 指定正负
指数 8 位 编码数值的尺度,偏置值为 127
小数 7 位 编码有效数的小数部分

对于规格化有限数,其数值为

x=(−1)s 2E−127(1+F27),x=(-1)^s\,2^{E-127}\left(1+\frac{F}{2^7}\right),

其中,ss 为符号位,EE 为无符号指数字段,FF 为无符号小数字段。规格化数的指数字段取值为 1 至 254。

前导的 1 是隐含的,因此,尽管只存储了七位小数,规格化 bfloat16 数仍具有八位二进制有效数精度。这相当于约 2.4 位十进制数字的精度,但并不保证所有具有这么多位有效数字的十进制数都能被精确表示。

指数字段的边界值具有特殊含义:

  • **E=0, F=0E=0,\ F=0:**正零或负零。
  • **E=0, F≠0E=0,\ F\ne0:**非规格化数,前提是具体实现支持。
  • **E=255, F=0E=255,\ F=0:**正无穷大或负无穷大。
  • E=255, F≠0E=255,\ F\ne0:非数(NaN)。

对于非规格化编码,隐含的前导位为零,因此有

x=(−1)s 2−126F27.x=(-1)^s\,2^{-126}\frac{F}{2^7}.

编码能够表示非规格化数,并不意味着所有处理器都会在运算中保留这些数。一些实现会将非规格化的输入或结果直接置零。

范围与精度

Bfloat16 最主要的设计取舍是保留 binary32(也称 FP32)的八位指数,同时缩短有效数。

属性 Bfloat16 IEEE binary16,通常称为 FP16 IEEE binary32,通常称为 FP32
总位数 16 16 32
指数位数 8 5 8
存储的小数位数 7 10 23
规格化数的有效数精度 8 位 11 位 24 位
最小正规格化数 2−1262^{-126} 2−142^{-14} 2−1262^{-126}
最大有限值,近似值 3.39×10383.39\times10^{38} 6.55×1046.55\times10^4 3.40×10383.40\times10^{38}

与 binary16 相比,bfloat16 能够表示绝对值大得多和小得多的数,但在给定区间内能区分的数值更少。因此,它是以精度换取范围,而不只是以准确性换取更小的存储空间。

Bfloat16 的一些重要数值如下:

smallest positive normal=2−126≈1.17549×10−38,smallest positive subnormal=2−133≈9.18355×10−41,largest finite value=(2−2−7)2127≈3.38953×1038.\begin{aligned} \text{smallest positive normal} &=2^{-126} \approx 1.17549\times10^{-38},\\ \text{smallest positive subnormal} &=2^{-133} \approx 9.18355\times10^{-41},\\ \text{largest finite value} &=(2-2^{-7})2^{127} \approx 3.38953\times10^{38}. \end{aligned}

1 与比它大的下一个可表示值之间的间隔为

ϵ=2−7=0.0078125.\epsilon=2^{-7}=0.0078125.

采用舍入到最近值的规则时,对于远离上溢和下溢边界的规格化结果,通常的相对舍入误差上界为 2−82^{-8},即约 0.39%。

数值间隔会随绝对值增大而增大。在 1 与 2 之间,相邻数值的间隔为 1/1281/128;在 128 与 256 之间,间隔为 1。从 −256-256 到 256256 的每个整数都能被精确表示,但超出这一区间后,并非每个整数都能被精确表示。

因此,bfloat16 和 binary32 的规格化数具有相同的指数上下限,但可表示数值的集合并不完全相同。Binary32 的最大有限值略大,而且支持小得多的非规格化数。

转换与运算

与 binary32 的关系

Bfloat16 的布局与 binary32 编码中最高的 16 位一致:包括符号位、全部八个指数位,以及前七个小数位。

在表示层面,只需在末尾补上 16 个值为零的小数位,就能将 bfloat16 值扩展为 binary32。所有有限的 bfloat16 值都可以用 binary32 精确表示。

反向转换通常会丢失信息。直接丢弃低 16 位会截断有效数;而正确舍入的转换则可能根据舍入规则,将保留的部分加一。常见规则包括舍入到最近值、中间值取偶数,但所支持的舍入模式取决于指令或软件实现。

转换还需要妥善处理特殊值。尤其是,NaN 的转换必须保留 NaN 编码,而不能意外生成无穷大。

存储精度与累加精度

存储操作数所用的数据类型,不必与累加结果所用的数据类型相同。在混合精度计算中,常见做法是将 bfloat16 输入相乘,再以 FP32 精度累加结果。这对于矩阵乘法和点积尤其重要,因为这些运算需要将大量乘积相加:

cij=∑kaikbkj.c_{ij}=\sum_k a_{ik}b_{kj}.

使用 FP32 累加器,可以减少将累加过程中的和反复舍入为 bfloat16 所产生的舍入误差。不过,它无法恢复输入转换为 bfloat16 时已经丢失的信息。不同硬件对中间乘积、加法分组、非规格化数和异常值的处理也可能有所不同。

Bfloat16 遵循了IEEE 754浮点运算标准中的若干常见约定,包括采用带偏置的指数,以及为无穷大和 NaN 设置编码。不过,它与 IEEE binary16 不同,而且仅凭这一名称,无法确定具体实现的全部运算行为细节。

在机器学习中的应用

训练

深度学习往往依赖涉及模型权重、激活值和梯度的大规模矩阵运算。这类工作负载中的许多计算环节可以容忍较低的有效数精度,但仍然需要较宽的数值范围。

Bfloat16 具有以下几项实际优势:

  • **减少存储空间:**与等价的 FP32 数组相比,数组占用的原始存储空间减半。
  • **减少内存数据传输量:**传输两字节元素而非四字节元素,可以降低带宽需求。
  • **提高运算硬件效率:**较短的有效数可以降低乘法器复杂度,并支持更高的运算吞吐量。
  • **较宽的指数范围:**与 binary16 相比,小梯度和大激活值更不容易超出其规格化数的指数范围。

这些特性在反向传播中很有用,但并不意味着所有运算都同样适合降低精度。训练系统通常会为优化器状态、部分归约运算、归一化计算或参数更新保留较高精度。

例如,如果某个权重及其更新后的值被舍入为同一个 bfloat16 数,那么这次微小更新就可能丢失。一些混合精度训练系统通过保留一份 FP32 权重主副本来解决这一问题;具体安排因框架和优化器而异。

Binary16 训练通常使用损失缩放,即对损失函数进行缩放,以帮助防止小梯度下溢。由于 bfloat16 的指数范围宽得多,bfloat16 训练通常不需要采用这一特定技术。不过,宽广的数值范围并不能防止所有数值问题。

推理

Bfloat16 也用于神经网络推理,包括大语言模型的推理。以 bfloat16 存储的模型参数和中间激活值,比采用 FP32 存储时占用更少内存。

Bfloat16 不同于基于整数的神经网络量化。它为每个数值保留浮点指数,本身不要求为张量或一组数值单独选择缩放因子。不过,它通常也比 8 位或 4 位表示占用更多存储空间。

在同一次模型执行过程中,权重、中间计算、累加器和输出可以采用不同的精度。

发展与硬件支持

bfloat16 这一名称源自 Brain floating point,反映了它起源于谷歌 Brain 的研究工作。它随着谷歌张量处理单元的应用而广为人知,尤其是这些处理器采用了 bfloat16 乘法与 FP32 累加相结合的方式。

随后,支持范围扩展到了中央处理器和图形处理器。例如,支持 AVX-512 BF16 或具备相应高级矩阵扩展(Advanced Matrix Extensions)支持的英特尔处理器,以及具备相应 Tensor Core 支持的 NVIDIA GPU。具体是否可用以及吞吐量如何,取决于处理器代际和指令集。

TensorFlow 和 PyTorch 等框架提供了 bfloat16 数据类型和混合精度功能。仅有软件支持并不能保证加速:不受支持的运算可能需要进行类型转换、改用其他精度执行,或通过仿真实现。

局限性

Bfloat16 的有效数较短,因此不适合作为 FP32 或 FP64 的通用替代格式。其主要数值局限包括:

  • **分辨率较低:**相近的数值可能被舍入为同一个表示值。
  • **微小更新丢失:**将一个小量加到远大于它的数上时,存储的结果可能保持不变。
  • **相消:**两个十分接近的数相减,可能使先前舍入引入的误差显现出来。
  • **累加误差:**如果不采用更高精度的累加,长序列求和可能损失大量准确性。
  • **实现差异:**舍入、非规格化数处理和运算顺序,都可能使不同设备得出不同结果。

对数值误差敏感的科学计算、病态问题,以及要求严格误差界限的计算,可能需要高得多的精度。即使在机器学习中,数值上是否适用,也取决于模型、运算、训练配置和硬件。

元素存储空间减半,也不意味着应用速度会翻倍,或总内存用量会减半。实际收益取决于硬件吞吐量、内存带宽、转换开销,以及仍以较高精度存储的数据所占的比例。