舍入误差是精确数值与用于表示它的有限精度数值之间的差异。在存储数值、转换数值格式,或执行精确结果无法用现有格式表示的算术运算时,都会产生舍入误差。因此,在浮点运算中,即使运算实现完全正确,返回的也可能是近似值,而非精确的数学结果。研究这类误差是数值分析的核心内容之一。
来源与基本示例
有限的数值格式只能表示有限的一组数。大多数实数不在这组数之中,因此存储它们时必须使用近似值。这一限制也影响许多简单的有理数:只有当一个分数的最简分母能够整除基数的某个幂时,它在该进位制下的展开才是有限的。
例如, 在十进制下是有限小数,但在二进制下会无限循环。因此,它在有限的二进制浮点格式中只能近似表示。这也解释了为什么在常见的 binary64 运算中,计算 并输出足够多的十进制位时,通常会得到 ,而不是恰好得到 。
舍入可能发生在几个不同的阶段:
- **输入转换:**将十进制字面量或测量输入转换为机器可表示的数值。
- **算术运算:**将精确的和、积、商或其他结果舍入为当前运算格式可表示的数值。
- **存储或格式转换:**将以较宽格式保存的数值转换为较窄格式。
- **输出:**将已存储的数值舍入到指定的显示位数。
这些阶段产生的误差在类型和大小上不一定相同。减少输出位数会改变显示出来的近似值,但不一定改变底层存储的数值。
舍入误差不同于测量不确定度,后者涉及对观测量的认知程度。即使数学输入已被精确指定,在进行数值表示或处理时,仍可能产生舍入误差。
绝对误差与相对误差
设 为精确值, 为其近似值。将带符号误差定义为近似值减去精确值,则有
绝对误差为
而当 时,相对误差为
绝对误差以与所考察量相同的单位衡量偏差。相对误差则以该量的大小为基准,衡量偏差所占的比例。因此,同样大小的绝对误差对较大的数值可能微不足道,对较小的数值却可能相当显著。当精确值为零时,相对误差没有定义;在接近零时,相对误差也可能造成误导,此时绝对误差可能更有参考价值。
舍入规则与误差界
舍入规则规定用哪个可表示值来替代精确结果。常见规则包括舍入到最近的可表示数、向零舍入,以及向正无穷或负无穷舍入。当两个可表示值与精确结果的距离相等时,需要规定如何取舍。“中间值取偶数”规则会选择保留的最后一位为偶数的值。
舍入到最近值时,引入的误差通常不超过包围精确结果的两个相邻可表示值之间距离的一半。定向舍入引入的误差则可能接近这一完整间距。与定点格式不同,浮点格式的间距通常随数值大小而增大,因此用相对误差来描述更为自然。
单位舍入误差
对于基数为 、有效数位数为 的规格化浮点格式,舍入到最近值时,单位舍入误差通常定义为
一个标准模型是
其中, 表示舍入后的值。该模型适用于满足一定数值范围条件的情况,尤其要求 处于正规数范围内,且舍入不会导致溢出。
类似地,对于基本算术运算 ,有
前提是精确结果满足所需的数值范围条件,而且运算进行了正确舍入。
机器精度一词的用法并不统一。它通常指 与比它大的下一个可表示数之间的间距,即 ,但有些文献也用它表示单位舍入误差。按照间距这一约定,binary64 运算有
次正规数与数值范围限制
次正规浮点数以近似恒定的绝对间距,将可表示范围向零延伸。它们的相对精度随数值大小的减小而下降,因此,同一个统一的相对误差界不适用于整个次正规数区域。在这一区域,绝对误差界仍然有用。
溢出和下溢需要与正规数范围内的普通舍入分开处理。当结果超出格式的有限数值范围时,会发生溢出;下溢则涉及接近零的极小结果,这些结果可能成为次正规数,也可能被舍入为零。
误差在计算过程中的传播
单次运算的误差界本身不足以描述整个计算的准确程度。先前产生的误差会成为后续运算的输入,并可能被放大、减弱或抵消。
例如,浮点加法通常不满足结合律:
在 binary64 运算中,取 、、,第一种分组方式得到 ,第二种则得到 。在第二种分组方式中,较小的项与一个绝对值大得多的数相加时丢失了。
这一点在并行计算中很重要:对大量数值求和时,改变归约树就可能改变计算结果,即使数学表达式并未发生变化。
求和误差界
对于 个浮点输入的简单顺序求和,一个标准的绝对误差界是
其中
这一误差界以通常的浮点模型为前提,并排除了造成问题的溢出或下溢。它针对的是给定机器数值的求和;原始数据的转换误差必须另行考虑。
这一误差界也说明了,为什么正负项几乎相互抵消时,相对准确度可能很差:各项绝对值之和可能远大于最终结果的绝对值。
对于固定的运算顺序和舍入规则,舍入误差是确定的。在某些分析中,将它们视为相互独立、均值为零的随机量可能很有用,但这是一项额外的建模假设,并非浮点计算的一般性质。
消减
灾难性消减是指两个近似相等的近似量相减时,它们原有的误差暴露出来,并相对于微小的差值被放大的现象。
例如,假设将精确值 和 分别舍入到四位十进制有效数字,两者都会变成 ,因此计算出的差为零,尽管
信息在相减之前就已经丢失了。对于舍入后的操作数,减法本身可能是精确的;问题在于,这些操作数已不再包含恢复微小差值所需的数位。
消减并非总是有害。如果操作数足够准确,对相近的数值做减法也能得到准确结果。危险来自消减、已有误差以及目标量的敏感性之间的相互作用。
代数上等价的公式,数值表现可能截然不同。对于较大的正数 ,直接计算
需要将两个几乎相等的数相减。等价表达式
避免了这次减法,只要中间运算不超出数值范围,通常就能得到更准确的结果。
条件性与数值稳定性
舍入误差如何影响结果,取决于两个不同的概念。
条件性描述数学问题对输入扰动的敏感程度。条件数用来量化这种敏感性。对于可微的标量函数 ,局部相对条件数为
其中 和 均不为零。条件数较大,意味着输入的微小相对扰动可能导致输出大得多的相对变化。
**数值稳定性**描述算法如何引入和传播误差。后向稳定算法给出的结果,是某个邻近问题的精确解,其中“邻近”程度使用适当的误差模型来衡量。
例如,采用后向稳定算法求得的线性方程组的解可能满足
其中扰动 和 很小。如果原问题是病态的,即使这些扰动很小,也可能使 产生显著误差。
因此,稳定算法并不能保证对病态问题给出高度准确的答案。反过来,即使原问题的条件良好,不稳定算法也可能损失准确度。
与截断误差的区别
截断误差产生于用有限近似替代精确数学过程的情况,例如截去无穷级数的尾项,或用有限差分替代导数。舍入误差则源于有限精度的表示和运算。两者常常出现在同一次计算中。
对于前向差分近似
如果函数足够光滑,截断误差通常与 成正比。与此同时,分子中的舍入误差和函数求值误差可能因除以 而被放大。一个简化的误差模型是
其中的常数取决于函数及其尺度。
减小 起初会改善近似,但最终舍入误差可能占据主导地位。在这一简化模型下,平衡这两项误差可得到与 成正比的步长,同时还需计入适当的量纲因子和与具体问题有关的因子。因此,更小的步长或更多的迭代次数并不必然带来更准确的结果。
控制舍入误差的方法
有多种技术可以减小有限精度的影响,或为其给出界限:
- **提高精度:**减小单位舍入误差,并可保留在较低精度下会丢失的信息,但会增加计算或存储成本。
- **采用稳定的等价形式:**用数学上等价、但较不易发生消减或产生极端中间值的形式替换原表达式。
- **缩放:**调整数值大小,以降低溢出和下溢的风险。缩放本身不能消除问题固有的病态性。
- **成对求和:**通过平衡树合并各项,与顺序求和相比,减少舍入误差累积的层数。
- **补偿求和:**跟踪加法过程中丢失的信息,并以修正量加以补偿;Kahan 求和是其中一个著名例子。
- **融合乘加:**计算 时只在最后舍入一次,而不是对乘法和加法分别舍入。
- **区间算术:**采用向外舍入,使精确值包含在计算所得的上下界之内,但变量之间的重复依赖关系可能使所得区间变宽。
对于适用的运算,精确整数运算或有理数运算可以避免舍入误差,但所需的存储空间和计算量可能大幅增加。它们也不能自动为一般的无理数结果或超越数结果提供有限的精确表示。
准确性与可复现性是两个不同的问题。固定运算顺序和浮点设置,可以使计算结果可复现,却不一定能使其准确;提高精度可以改善准确性,但不同实现之间仍可能存在细微差异。