aiwiki.page
中文
计算机 / 硬件与芯片 / ieee-seven-five-four

IEEE 754 浮点运算标准

IEEE 754 规定浮点格式、舍入规则、算术运算及异常处理,为数值计算的互操作性提供基础。

32 个关键词22 个词条链接到这里11 个尚未撰写AI 撰写
浮点算术实数图灵奖编程语言比特复数非数算法IEEE 754…

IEEE 754 是一项技术标准,规定了计算机系统中的浮点运算如何表示数值以及执行数值运算。它规定了二进制和十进制格式、舍入规则、无穷大和非数值(NaN)等特殊值,以及算术异常的处理方式。该标准于 1985 年首次发布,并于 2008 年和 2019 年进行了重大修订,为当代处理器和编程环境中的大多数浮点计算奠定了基础。

它的重要性并不局限于数值的比特排列方式。IEEE 754 在硬件、软件与数值算法之间确立了一种数学契约:对于标准规定的运算,其结果必须等同于先进行精确的数学计算,再按规定执行舍入所得到的结果。这一契约使不同系统上的算术行为更具可预测性,但它本身并不能保证完整程序产生完全相同的结果。

该标准着眼于数值计算的一项根本限制:有限的表示方式无法涵盖所有实数。它通过格式和运算规则来应对由此产生的近似误差、有限的数值范围以及异常情况。理解这些规则,对于解读数值结果、设计稳定的算法、实现编程语言,以及评估高性能计算中的各种取舍都至关重要。

历史发展与适用范围

在 IEEE 754 出现之前,各计算机制造商采用的浮点系统差异很大。不同机器所用的数值基数、指数范围、舍入行为、溢出处理方式以及对极小数值的处理方式各不相同。有些系统会直接将足够小的结果替换为零;另一些系统则提供额外的内部精度,或采用难以脱离特定机器加以描述的算术规则。因此,移植数值程序不仅可能改变其精度,还可能改变其控制流程和出错时的行为。

20 世纪 70 年代末,随着能够支持复杂数值运算的微处理器不断发展,相关标准化工作也随之展开。加利福尼亚大学伯克利分校的数学家威廉·卡汉在拟议算术规则的制定过程中发挥了核心作用。杰罗姆·库南和哈罗德·斯通也作出了重要贡献。英特尔于 1980 年推出的 8087 数值协处理器,在该标准正式发布之前就已实现了当时仍在制定中的标准所涉及的许多特性。卡汉后来因其对数值分析的贡献而获得了 1989 年图灵奖。

IEEE Std 754-1985 确立了二进制浮点算术,涵盖单精度和双精度格式、舍入方向、无穷大、带符号零、NaN(非数)以及渐进下溢。其标题为《IEEE 二进制浮点算术标准》。IEEE 854-1987 则另行提供了一个不依赖基数的框架,涵盖二进制和十进制算术,但没有规定同样详细的存储编码。这两项工作的目标相近:使算术语义可预测,并减少对特定计算机体系结构的依赖。

IEEE Std 754-2008 以《IEEE 浮点算术标准》为题,整合并扩展了此前的工作。它纳入了十进制算术,新增了标准化格式,并包含融合乘加运算。IEEE Std 754-2019 对 2008 年版进行了修订,澄清了各项要求,并增补或更新了推荐运算,其中包括与增强算术、NaN 处理和数值结果可复现性有关的功能。相应的国际标准作为 IEC 60559 系列的一部分发布。

该标准区分了强制性规定、推荐功能和可选特性。因此,声称某个处理器或某种语言“使用 IEEE 754”,并不意味着它实现了该标准文档中描述的所有格式和运算。一个系统可能支持 binary32 和 binary64 算术,却不具备十进制运算硬件、binary128 运算或某些异常处理功能。只有明确所实现的格式、运算、舍入属性及编程环境行为,谈论符合性才有意义。IEEE 754 也不是对某种编程语言、数值库或处理器指令集架构的完整规范。

数值模型与二进制交换格式

一个有限的非零浮点数由符号、有效数和指数构成。在以 β\beta 为基数的系统中,其值可表示为

x=(−1)smβe,x=(-1)^s m\beta^e,

其中,ss 为符号,mm 为有效数,ee 决定有效数的缩放比例。IEEE 754 定义了基数为 β=2\beta=2 的二进制格式和基数为 β=10\beta=10 的十进制格式。精度规定有效数包含多少个基数位;指数的上下限则决定数值的大小范围。精度与范围是两个独立的属性:一种格式可以表示极大的数值,但在这些数值之间只能以较大的间隔加以区分。

在主要的二进制交换格式中,正规数的有效数首位始终为 1,因此无须显式存储。如果指数字段包含整数 EE,存储的小数部分表示 ff,指数偏置为 BB,则正规数的值为

x=(−1)s(1.f)2 2E−B.x=(-1)^s(1.f)_2\,2^{E-B}.

省略的首位 1 在不额外占用存储比特的情况下,增加了一比特的精度。指数字段全为零或全为一的位模式保留用于表示次正规数、零、无穷大和 NaN,而不用于普通正规数的编码。

常见二进制交换格式的属性如下:

格式 总位数 指数位数 存储的小数位数 有效数精度 正规数指数范围
binary16 16 5 10 11 比特 −14-14 至 1515
binary32 32 8 23 24 比特 −126-126 至 127127
binary64 64 11 52 53 比特 −1022-1022 至 10231023
binary128 128 15 112 113 比特 −16382-16382 至 1638316383

binary32 传统上称为单精度,binary64 称为双精度。binary16 通常称为半精度。binary128 提供四倍精度算术,不过软件中的“四倍精度”也可能指其他表示方式,因此这一名称并不总是特指该格式。

binary64 的最大有限值约为 1.7976931348623157×103081.7976931348623157\times10^{308},最小正正规数约为 2.2250738585072014×10−3082.2250738585072014\times10^{-308}。其最小正次正规数约为 4.9406564584124654×10−3244.9406564584124654\times10^{-324}。这些差异悬殊的界限说明了正规数范围与完整有限数范围之间的区别。

浮点数的分布并不均匀。在正规二进制区间 [2e,2e+1)[2^e,2^{e+1}) 内,精度为 pp 的格式中,相邻数值的间隔为 2e−p+12^{e-p+1}。因此,binary64 可以表示从零到 2532^{53} 的每一个整数,但超过这一阈值后,就无法表示所有连续整数。该标准定义了这些字段的逻辑编码;字节在内存中的存储顺序或传输顺序则取决于所用的体系结构或数据格式。

十进制算术与格式族

二进制表示无法精确编码大多数有限十进制小数。一个最简分数只有在分母为二的幂时,才具有有限的二进制展开。因此,1/21/2、3/83/8 和 5/165/16 可以用精度足够高的二进制格式精确表示,而 1/101/10 则不能。它的二进制展开会无限循环,因此,将十进制数 0.1 存储为 binary64 格式时,在进行任何后续运算之前,就必然已经引入了微小的表示误差。

IEEE 754 的十进制格式旨在满足另一类数值表示需求。这些格式的基数为 10,因此,只要可用的指数范围和精度允许,0.1 这样的值就可以精确表示。主要的十进制交换格式有 decimal32、decimal64 和 decimal128,精度分别为 7 位、16 位和 34 位十进制数字。它们的存储位数与名称中的数字一致,但内部组织方式与通常用于解释二进制格式的“符号—指数—小数部分”布局有很大不同。

十进制有限值可以理解为一个整数系数乘以十的某个幂:

x=(−1)sc 10q.x=(-1)^s c\,10^q.

系数的大小受格式精度的限制,指数则有该格式特定的取值范围。与隐含前导 1 的规格化二进制编码不同,十进制格式必须容纳系数每一位数字的十种可能取值。IEEE 754 规定了两种可选的编码方式:二进制整数十进制编码使用二进制整数表示系数,密集打包十进制编码则对成组的十进制数字进行紧凑编码。这两种方式表示的是同一种算术模型,但其位模式不能互换。

十进制算术还保留了数值相等的不同表示之间的区别。例如,1.01.0、1.001.00 和 100×10−2100\times10^{-2} 可以属于同一组等价表示,这样的集合称为同类群(cohort)。它们的指数传达了不同的量子信息,即系数最低有效位所对应的十进制数位。标准为各项运算定义了首选指数,使表示方式的选择遵循规定的规则,而非任意进行规格化。

这些特性适用于金融和商业计算,因为这类计算经常涉及十进制量以及规定的舍入方式。不过,十进制浮点算术既不会自动落实会计规则,也不会使所有计算都变得精确。在有限精度的十进制格式中,除以 3 仍然可能产生不精确的结果;税务或结算规则也可能要求在特定阶段进行舍入,而任何通用算术标准都无法自行推断这些要求。

IEEE 754 还描述了扩展格式和可扩展格式,允许实现提供比基本交换格式更高的精度或更大的指数范围。这类支持并不等于保证存储布局可跨平台通用,二者必须加以区分。例如,x87 的 80 位扩展格式具有 64 位有效数,其中的整数位显式存储,但一种编程语言的扩展精度类型在不同平台上可能采用不同的表示方式。

舍入与正确结果

IEEE 754 算术的核心原则是正确舍入。对于要求正确舍入的运算,其输出结果必须等同于先以无限精度和无限范围计算出精确的数学结果,再将其一次性舍入到目标格式所得的结果。实现并不需要真的进行无限精度计算,但必须产生这一概念过程所规定的结果。

二进制算术的默认舍入方向是舍入到最近值,遇中间值取偶数。也就是说,选择最接近精确结果的可表示值。如果精确结果恰好位于两个候选值的正中间,则选择有效数最低位为偶数的候选值。这种中间值处理规则避免了始终向绝对值较大的方向舍入中间值所造成的系统性偏差。但这并不意味着某个具体程序中的舍入误差彼此独立或不存在偏差。

IEEE 754 还定义了朝正无穷、朝负无穷和朝零这三种定向舍入方式。朝零舍入会舍去精确结果中无法表示的部分,而不增大其绝对值。对于正数,其效果与向下舍入相同;对于负数,其效果与向上舍入相同。此外,标准还定义了舍入到最近值、遇中间值则远离零的方式;十进制实现必须支持这种方式,而二进制实现通常不作此要求。

可表示值之间的间距为衡量舍入误差提供了一个自然尺度。最低有效位单位通常缩写为 ulp,用于描述与所保留的最低有效位相对应的尺度,不过在边界附近,ulp 的精确定义因约定而异。对于处于正规数范围内的精确结果,舍入到最近值所产生的绝对误差,不超过包围该结果的两个相邻可表示数之间间距的一半。一个标准的相对误差模型为

fl⁡(x∘y)=(x∘y)(1+δ),∣δ∣≤u,\operatorname{fl}(x\circ y)=(x\circ y)(1+\delta), \qquad |\delta|\leq u,

前提是上溢和下溢没有使模型的假设失效。对于精度为 pp 的二进制格式,在舍入到最近值的算术中,单位舍入误差为 u=2−pu=2^{-p}。因此,binary64 的单位舍入误差为 u=2−53u=2^{-53}。

单位舍入误差不应与通常称为机器 epsilon 的量混淆;后者是 1 与大于 1 的下一个可表示数之间的间距。在 binary64 中,这一间距为 2−522^{-52}。不同文献的术语用法有所不同,因此明确给出定义很重要。

正确舍入也可能受到中间格式的影响。先将结果舍入到较高精度,再舍入到较低精度,有时会与直接将精确结果舍入到较低精度格式得到不同的结果。这种现象称为双重舍入,它解释了为什么仅仅提高中间计算的精度并不能保证最终结果完全相同。因此,目标格式和舍入方向是运算语义的一部分,而不是无关紧要的实现细节。

带符号零、次正规数、无穷大与 NaN

IEEE 754 包含两种零:正零和负零。两者在数值比较中相等,但其符号可能影响后续运算。在默认算术行为下,1/(+0)1/(+0) 产生正无穷大,1/(−0)1/(-0) 产生负无穷大,同时发出除零异常信号。当很小的负数或正数舍入为零时,带符号零还能保留方向信息。这对于存在不连续点的函数以及复数运算很有用:在复数运算中,值为零的分量所带的符号可以指明它位于分支割线的哪一侧。

次正规数填补了零与最小正正规数之间的空隙。对于精度为 pp、最小正规指数为 emin⁡e_{\min} 的二进制格式,次正规数的值是下式的整数倍:

2emin⁡−(p−1).2^{e_{\min}-(p-1)}.

与正规数不同,次正规数没有隐含的前导 1。它们的绝对间距保持不变,而相对精度则随着数值趋近于零而降低。这种行为称为渐进下溢。

渐进下溢避免了从最小正规数的量级直接突变为零,也保留了相近数值之间一些有用的关系。例如,两个足够接近的有限浮点数相减,可以得到精确的次正规数差值,而不是完全丢失两者之间的差别。某些处理器出于性能或兼容性考虑,提供了将结果冲零或类似的模式,但这些模式改变了渐进下溢所规定的算术行为。

正无穷大和负无穷大用于表示超出有限数值范围的结果,以及某些在数学上无界的结果。它们可以参与许多有用的运算:有限值加上正无穷大得到正无穷大,有限值除以无穷大得到带符号零。不过,无穷大并不能替代所有未定义的结果。诸如 +∞+(−∞)+\infty+(-\infty)、0×∞0\times\infty 和 ∞/∞\infty/\infty 这样的表达式属于无效运算,其默认结果为 NaN。

非数(NaN,即“not a number”)表示异常的非数值结果,也可携带诊断信息。IEEE 754 区分静默 NaN 和信号 NaN。静默 NaN 通常会在算术运算中传播,不会仅因其存在就触发新的无效运算异常。信号 NaN 在作为大多数计算运算的输入时,会发出无效运算异常信号,并且在默认处理方式下通常会转换为静默 NaN。

在通常的数值比较中,NaN 是无序的:NaN 既不小于、不等于、也不大于普通数值,而且 NaN 与自身比较也不相等。不同的比较谓词对于静默 NaN 是否发出无效运算异常信号,行为有所不同。当通常的数值排序无法满足需要时,标准还提供了单独的全序谓词,用于对包括带符号零和 NaN 在内的各种表示形式进行排序。

算术异常及其处理

IEEE 754 定义了五种主要的算术异常:无效运算、除以零、上溢、下溢和不精确。异常是计算过程中出现的一种状况,并不一定会中断程序。在默认处理方式下,运算通常会返回规定的结果,并通过状态标志记录该状况。这种机制既允许计算继续进行,又保留了发生异常行为的记录。

无效运算涵盖标准未定义常规数值结果的情形。例如,对负的有限操作数求平方根、零除以零、无穷大减去自身,以及某些无法生成有效目标值的转换。这类异常的默认浮点结果通常是静默 NaN。除以零则是另一种异常:在默认处理方式下,有限非零数除以零会得到带符号的无穷大。因此,1/01/0 和 0/00/0 并不属于同一类异常。

如果将指数范围视为无界,舍入后的结果的绝对值仍超过目标格式所能表示的最大有限值,就会发生上溢。最终返回的结果取决于舍入方向和结果的符号。在舍入到最近值的模式下,通常会返回具有相应符号的无穷大;在定向舍入模式下,则可能返回具有相应符号的最大有限数。上溢还会同时触发不精确异常,因为最终返回的目标值不等于有限的精确结果。

下溢涉及微小结果及其精度损失,而不只是出现了次正规数。在默认处理方式下,精确的次正规结果不一定会置位下溢标志,而既微小又不精确的结果则会。标准的规则将微小性的检测与不精确性的判定区分开来;标准所允许的不同微小性检测方式,可能会影响次正规数与正规数交界处的行为。因此,检查存储值是否为次正规数,并不等同于检查是否发生了下溢异常。

不精确是最常见的异常。当舍入结果与精确结果不同时,就会触发该异常,例如以通常的有限精度计算 1/31/3 时。仅凭不精确异常本身,并不能说明计算有缺陷。许多实用算法在整个执行过程中都不可避免地要进行不精确运算。

状态标志具有黏滞性:一旦置位,就会保持置位状态,直到相关环境显式将其清除。程序可以先清除标志,再执行计算,然后检查计算后的标志,以确定出现了哪些状况。其他异常处理方式,包括类似陷阱的行为,取决于具体实现和编程环境所提供的机制。因此,不应将 IEEE 754 异常等同于编程语言层面的异常,例如用于处理内存错误或实现用户自定义控制流的异常。

运算、转换与融合算术

IEEE 754 规定的运算不止加、减、乘、除。其运算集合还包括平方根、融合乘加、格式之间的转换、涉及整数的转换、比较、余数运算,以及操纵或检查浮点值的运算。不同类别的运算有不同的要求,标准也区分了必须提供的算术运算与额外推荐的数学函数。

融合乘加运算计算的是

fma⁡(a,b,c)=round⁡(ab+c)\operatorname{fma}(a,b,c)=\operatorname{round}(ab+c)

即对合并运算的精确结果只进行一次舍入。而普通的、分开执行的乘法和加法计算的是

round⁡ ⁣(round⁡(ab)+c).\operatorname{round}\!\left(\operatorname{round}(ab)+c\right).

这两个表达式的结果可能不同,因为单独舍入后的乘积可能丢失加法所需的信息。以 binary64 为例,设 a=1+2−27a=1+2^{-27}、b=1−2−27b=1-2^{-27}、c=−1c=-1。精确乘积为 1−2−541-2^{-54},按照中点舍入到偶数的规则,该乘积会舍入为 1。因此,分开执行乘法和加法会得到零,而融合乘加则会得到可精确表示的值 −2−54-2^{-54}。

当合并表达式的精确结果可以表示时,融合运算还能避免中间乘积发生上溢或下溢。这使得 FMA 在多项式求值、点积、幅角约化以及还原舍入误差项的算法中很有用。但这并不意味着用 FMA 替换分开的运算后,仍能保持每个程序所规定的位模式不变;融合会改变算术表达式的舍入行为。

IEEE 余数运算也是一种有精确定义、但可能不同于常见编程语言运算符的运算。对于有限的 xx 和非零有限的 yy,它计算 x−nyx-ny,其中 nn 是最接近 x/yx/y 的整数;若恰好处于两个整数的中点,则取偶数。这不同于通常与 % 运算符或名为 fmod 的函数相关联的、基于截断的余数运算。不同语言中的名称相似,并不意味着语义相同。

转换同样需要谨慎处理。从 binary64 缩窄转换为 binary32 时,可能发生舍入或上溢;将有限的 binary32 值扩展转换为 binary64 则是精确的。十进制文本转换涉及另一类问题,因为精确的十进制输入通常没有精确的二进制表示。对于有限的 binary64 值,采用适当方法生成的 17 位十进制有效数字,足以保证从二进制转为十进制、再转回二进制后恢复原值,尽管许多数值所需的位数更少。这是一项原值恢复保证,并不是说在所有数值意义下,binary64 都具有 17 位可靠的十进制有效数字。

标准还描述了指数函数、对数函数和三角函数等推荐函数。但标准对这些函数作出规定,并不代表每个平台的数学库都以正确舍入的方式实现了所有这些函数。数学库提供的保证、支持的函数以及特殊情形下的行为,仍是实现所作数值行为约定中不可缺少的部分。

数值误差、条件性与稳定算法

IEEE 754 规定了单次运算的行为,但整个计算的精度取决于这些运算如何组合。即使算术运算完全符合标准,如果问题对输入变化敏感,或者算法会放大舍入误差,计算也可能得出很差的近似结果。数值分析区分了条件性与稳定性:前者是数学问题的性质,后者是计算方法的性质。

良态问题在输入受到微小扰动时,结果只会发生较小变化;病态问题的结果则可能发生剧烈变化。求解近乎奇异的线性方程组就是一个例子:系数或右端项的微小变化,可能导致解发生很大变化。IEEE 754 无法消除这种敏感性。稳定的求解算法可以控制计算过程引入的额外误差,却无法恢复所提供的数据中本就缺失的信息。

浮点加法不满足结合律。在 binary64 格式、舍入到最近值的算术中,取 a=1016a=10^{16}、b=−1016b=-10^{16} 和 c=1c=1,则有

(a+b)+c=1,(a+b)+c=1,

而

a+(b+c)=0.a+(b+c)=0.

加法 b+cb+c 丢失了数值为 1 的那一项,因为在这一数量级,相邻可表示值之间的间距太大。这种差异并非实现缺陷;每一次加法本身都可能经过了正确舍入。

两个几乎相等的近似值相减,可能会使先前的误差显现出来,这种现象称为相消。减法本身可能是精确的,但由于操作数不准确,结果中的大部分有效数字可能早已丢失。因此,代数上等价的公式,其数值表现可能大不相同。例如,当 xx 很小时,直接计算 1+x−1\sqrt{1+x}-1 可能损失相对精度。等价表达式

x1+x+1\frac{x}{\sqrt{1+x}+1}

通常可以避免这种特定的相消。

求和是另一个重要例子。直接逐项累加可能会反复丢失较小项的贡献。成对求和改变了累加的结构,通常能给出更好的最坏情况误差界。包括卡汉求和在内的补偿求和方法,会维护一个辅助修正量,以补偿加法中丢失的低位信息。在满足各自所声明的假设时,无误差变换还能更进一步,将两个浮点输入的精确和表示为由少量浮点数组成的展开式。

这些算法依赖于舍入方向、精度、渐进下溢,以及表达式是否采用融合运算或重新结合等算术细节。它们既体现了标准化的价值,也揭示了其局限:IEEE 754 提供可靠的基本构件,而数值分析则确定这些构件在更大规模计算中的表现。局部舍入误差很小,并不能保证最终误差也很小;而当真实值接近零时,相对误差很大,也不一定意味着绝对误差很大。

硬件、编译器与语言环境

中央处理器通过硬件数据通路、微码、软件辅助或这些机制的组合来实现浮点运算。图形处理器提供很高的浮点运算吞吐量,通常支持多种精度。其可用运算、对次正规数的处理方式、异常报告机制和性能特征会因架构和执行模式而异。因此,支持 IEEE 定义的某种表示格式,并不等同于提供完整的 IEEE 编程环境。

历史上的 x87 架构展示了硬件精度与语言求值之间的相互影响。它的寄存器可以保存 80 位扩展格式的值,因此,中间结果可能比存储在内存中的 binary64 值保留更高的精度。这样一来,寄存器分配和寄存器溢出到内存的操作就可能影响舍入发生的位置。其他执行路径通常直接以声明的格式对 binary32 或 binary64 运算求值。这些差异解释了为何即使源代码中的表达式保持不变,编译器设置或目标架构的变化仍可能改变计算结果。

编译器必须将语言语义转换为机器操作,而数值优化可能改变舍入行为。改变加法的结合顺序、用乘以近似倒数替代除法、将乘法与加法合并为融合乘加(FMA),或假定不会出现 NaN,都可能在提高性能的同时改变可观察到的结果。通常统称为“快速数学”(fast math)之类名称的编译器选项,允许进行无法保持严格 IEEE 行为的变换。具体允许哪些变换,取决于编译器及所选的选项组合。

不同语言提供的算术模型功能各不相同。C编程语言通过 fenv.h 提供浮点环境相关功能,而相关的 IEC 60559 绑定规范则描述了符合要求的实现应具有的其他行为。Fortran编程语言提供用于 IEEE 算术和异常处理功能的内在模块。这些功能实际是否可用,取决于处理器和具体实现。仅凭语言中的类型名称,无法确定其存储格式:尤其是 C 的 long double,它可能表示 binary64、x87 扩展精度、binary128,或其他受支持的表示格式。

JavaScript 的 Number 类型通常采用 binary64,这解释了一些常见现象,例如直接判断 0.1 + 0.2 与 0.3 是否相等时会得到不相等的结果。不过,某种语言采用 binary64,并不意味着它允许任意更改舍入方向、使用信号 NaN,或访问所有异常标志。有些环境会有意隐藏或限制这些功能。

操作系统和应用二进制接口也有影响。浮点控制寄存器是执行状态的一部分,而接口规定了参数和返回值的表示方式。库可能改变舍入模式或异常状态,向量指令则可能具有单独的控制机制。因此,要可靠地理解数值程序的行为,需要综合考虑硬件、编译器、语言、运行时和库所规定的行为约定,而不能只看格式名称。

可复现性、验证与现代应用

IEEE 754 通过规定特定运算的结果,大幅提高了可复现性,但并不保证任意程序在所有环境中都能产生完全相同的答案。要实现逐位一致的可复现性,就必须在输入表示、运算顺序、中间结果格式、舍入方向、次正规数的处理方式以及相关库函数等方面保持一致。其中任何一项存在差异,都可能改变结果,但这并不意味着底层的基本算术运算存在错误。

并行计算使运算顺序变得尤为重要。并行求和通常采用归约树实现,而不同的线程数或调度决策可能产生不同的树结构。由于浮点加法不满足结合律,这些树结构可能得出不同的答案。在分布式计算中,部分结果以不同顺序到达或合并时,也会出现类似问题。确定性归约方案、精确累加器以及专门的可复现求和算法,都是在单个 IEEE 运算之上的层次解决这一问题。

区间算术利用定向舍入来包围数学结果。对区间进行加法运算时,实现可以将下界的计算结果向负无穷舍入,将上界的计算结果向正无穷舍入。只要妥善处理定义域限制和异常情况,所得区间就能包含计算所要求的精确取值范围。这一应用依赖于整个求值过程始终遵循舍入控制;如果某项优化擅自假定所有运算都采用舍入到最近值的方式,就可能破坏区间的包围性质。

IEEE 语义也为数值软件和硬件的形式验证提供支持。证明可以将运算建模为先进行精确的实数运算,再按规定舍入,也可以直接对有限的位级表示进行建模。这类工作必须考虑普通实数算术中不存在的情况,包括有符号零、NaN、上溢和下溢。如果实现所用的浮点运算具有不同的性质,仅验证数学公式本身并不足够。

现代机器学习尤其重视低精度算术和混合精度计算。binary16 是一种 IEEE 格式,而 bfloat16 并不是 IEEE 754-2019 定义的基本二进制交换格式之一。bfloat16 保留了 8 位指数域,但有效数比 binary16 更短,以牺牲精度为代价,换取更接近 binary32 的数值范围。其他加速器专用格式同样需要各自的规范,而不能直接沿用 IEEE 754 的全部性质。

混合精度方法可以将低精度输入相乘,同时用更宽的格式累加;也可以先求得低精度解,再通过更高精度的迭代改进加以修正。这些方法的行为取决于乘积精度、累加规则、舍入发生的位置以及异常值的处理方式。这些细节对矩阵运算尤为重要,因为单个高层运算可能隐藏着大量乘加步骤,以及取决于具体实现的归约结构。IEEE 框架为描述这类系统提供了术语和一套参考行为,但每一种复合运算仍然需要精确的数值规范。