aiwiki.page
中文
数学 / 概率与统计 / mean-absolute-error

平均绝对误差

平均绝对误差是预测值与观测值之间绝对差的平均值,以数据原有的单位衡量预测准确性。

23 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
绝对值统计学机器学习损失函数期望值随机变量大数定律范数(数学)平均绝对误…

平均绝对误差(MAE)用于衡量成对数值之间误差的平均大小,这些数值最常见的是预测值与观测值。其计算方法是对每个误差取绝对值,再求平均。MAE 广泛用于统计学、机器学习和预测领域,以与预测量相同的单位表示误差。作为一种损失函数,它对误差施加线性惩罚,并对高估和低估一视同仁。

定义

对于 nn 个观测值 y1,…,yny_1,\ldots,y_n 及其对应的预测值 y^1,…,y^n\hat y_1,\ldots,\hat y_n,平均绝对误差定义为

MAE⁡=1n∑i=1n∣yi−y^i∣.\operatorname{MAE} = \frac{1}{n}\sum_{i=1}^{n}|y_i-\hat y_i|.

带符号的误差可以定义为 yi−y^iy_i-\hat y_i,也可以定义为其相反数;这一约定不影响 MAE。当预测值是统计模型的拟合值时,这些差值通常称为残差。

由定义可直接得到 MAE 的几个性质:

  • 它是非负的。
  • 当且仅当每个预测值都等于其对应的观测值时,它才等于零。
  • 正误差与负误差不会相互抵消。
  • 它与观测值具有相同的物理单位。
  • 每个观测值对 MAE 的贡献都与其误差的大小成正比。

例如,观测值为 3,5,2,73,5,2,7,预测值为 2,5,4,62,5,4,6,则绝对误差为 1,0,2,11,0,2,1。它们的 MAE 为

1+0+2+14=1.\frac{1+0+2+1}{4}=1.

这意味着绝对偏差的平均值为一个单位,而不意味着每个预测值与其观测值都相差一个单位。

总体形式

对于结果变量 YY 和预测值 Y^\hat Y,相应的总体量是绝对误差的期望值

R=E ⁣[∣Y−Y^∣],R=\mathbb{E}\!\left[|Y-\hat Y|\right],

前提是该期望有限。这里,YY 和 Y^\hat Y 是具有指定联合分布的随机变量。

对于一个固定的预测规则,若使用来自同一总体的独立观测值进行评估,则样本 MAE 是这一期望误差的估计值。如果绝对误差的期望有限,那么根据大数定律,样本 MAE 收敛于相应的总体值。

数学性质

缩放与平移

给观测值和预测值同时加上同一个常数,MAE 不变。将二者同时乘以常数 cc,MAE 就乘以 ∣c∣|c|。更一般地,

MAE⁡(a+cy,  a+cy^)=∣c∣ MAE⁡(y,y^).\operatorname{MAE}(a+cy,\;a+c\hat y) = |c|\,\operatorname{MAE}(y,\hat y).

因此,将测量单位从米换算为厘米,会使 MAE 乘以 100100。这种对尺度的依赖使 MAE 在同一应用场景中易于解释,但也限制了对不同单位或数量级相差很大的量进行比较。

与距离及范数的关系

对于向量 y,y^∈Rny,\hat y\in\mathbb{R}^n,

MAE⁡(y,y^)=1n∥y−y^∥1,\operatorname{MAE}(y,\hat y) = \frac{1}{n}\|y-\hat y\|_1,

其中,∥⋅∥1\|\cdot\|_1 是以各分量绝对值之和定义的范数。因此,在维数及坐标配对固定的情况下,MAE 是经过比例缩放的距离:它具有对称性,仅在两个向量相同时为零,并且满足三角不等式。

这种几何解释针对的是成对的坐标。任意重排其中一个向量的分量,即使其所含数值不变,也可能改变 MAE。

绝对误差与中位数

绝对误差损失的一个核心性质是,它以中位数而非均值为目标。

对于一阶绝对矩有限的实值随机变量 YY,其任意一个中位数都能在所有常数预测值 aa 中使下式最小:

E[∣Y−a∣]\mathbb{E}[|Y-a|]

中位数 mm 满足

Pr⁡(Y≤m)≥12,Pr⁡(Y≥m)≥12.\Pr(Y\leq m)\geq \frac12, \qquad \Pr(Y\geq m)\geq \frac12.

使损失最小的值不一定唯一。对于包含偶数个观测值的样本,将观测值排序后,中间两个观测值之间的任意一点都能使绝对偏差之和最小。

在根据输入变量 XX 进行预测时,若预测函数不受限制,则使期望绝对损失最小的预测函数对应于给定 XX 时 YY 的某个条件中位数。相比之下,在相关矩存在的情况下,使均方误差最小的预测函数对应于条件均值。

当结果变量的分布不对称时,这一区别很重要。两个设定正确的模型也可能给出不同的点预测,因为其中一个以最小化绝对误差为训练目标,另一个则以最小化平方误差为目标。不过,受限的模型类可能无法表示真实的条件中位数。

在模型拟合中的应用

使绝对残差之和或均值最小的估计方法,称为最小绝对偏差估计。在线性回归中,其形式为

min⁡β1n∑i=1n∣yi−xi⊤β∣.\min_{\beta} \frac{1}{n} \sum_{i=1}^{n}|y_i-x_i^\top\beta|.

该目标函数是关于 β\beta 的凸函数,但不保证解唯一。

优化

在残差为零的位置,绝对误差不可微。对于单个观测值,对预测值求导可得

∂∂y^∣y−y^∣={−1,y^<y,1,y^>y.\frac{\partial}{\partial \hat y}|y-\hat y| = \begin{cases} -1,&\hat y<y,\\ 1,&\hat y>y. \end{cases}

在 y^=y\hat y=y 处,其次梯度集合为区间 [−1,1][-1,1]。因此,在误差非零的位置,斜率的绝对值恒定,并不会随误差增大而增大。

通过引入辅助变量 uiu_i,线性模型的绝对误差拟合可以表述为一个线性规划问题:

min⁡β,u1n∑i=1nui,subject toui≥yi−xi⊤β,ui≥−(yi−xi⊤β).\begin{aligned} \min_{\beta,u}\quad &\frac1n\sum_{i=1}^n u_i,\\ \text{subject to}\quad &u_i\geq y_i-x_i^\top\beta,\\ &u_i\geq -(y_i-x_i^\top\beta). \end{aligned}

这些约束保证 uiu_i 的最小可行值等于对应的绝对残差。对于非线性预测模型,尽管绝对损失关于每个预测值都是凸的,但目标函数关于模型参数通常并不是凸的。

概率解释

绝对误差拟合也有最大似然估计方面的解释。假设各误差相互独立,并服从具有共同尺度参数 b>0b>0 的拉普拉斯分布:

p(yi∣xi,β,b)=12bexp⁡ ⁣(−∣yi−xi⊤β∣b).p(y_i\mid x_i,\beta,b) = \frac{1}{2b} \exp\!\left( -\frac{|y_i-x_i^\top\beta|}{b} \right).

当 bb 固定时,对 β\beta 最大化似然等价于最小化绝对残差之和。这为该拟合准则提供了一种概率上的依据;但将 MAE 用作评估指标,并不要求误差服从这一分布。

与平方误差类指标的比较

均方根误差定义为

RMSE⁡=1n∑i=1n(yi−y^i)2.\operatorname{RMSE} = \sqrt{\frac1n\sum_{i=1}^n(y_i-\hat y_i)^2}.

对于同一组有限个误差,

MAE⁡≤RMSE⁡,\operatorname{MAE}\leq\operatorname{RMSE},

当且仅当所有绝对误差都相等时,等号成立。

在 MAE 中,十个单位的误差所产生的损失是一个单位误差的十倍;在平方误差中,则是一百倍。因此,平方误差类指标更强调大误差。

人们常说,MAE 对极端误差的敏感程度低于平方误差类指标。这是相对而言的,并不意味着它具有完全的稳健性:

  • 绝对损失仍然无界,因此足够大的误差可能主导平均值。
  • 拟合模型的稳健性不仅取决于损失函数,还取决于预测变量和模型结构。
  • 在回归中,预测变量取值极端的观测仍然可能产生很大的影响。

此外,MAE 不具有标准的平方误差分解,即不能按同样方式分解为方差与偏差平方。即使 MAE 相同,模型的系统性误差、尾部特征以及个体误差的分布也可能不同。

加权指标及相关指标

加权 MAE 定义为

MAE⁡w=∑i=1nwi∣yi−y^i∣∑i=1nwi,\operatorname{MAE}_w = \frac{\sum_{i=1}^n w_i|y_i-\hat y_i|} {\sum_{i=1}^n w_i},

其中 wi≥0w_i\geq0,且权重总和为正。权重可以表示不同的出现频率或评估侧重点。权重的选择会改变所报告误差代表的总体或目标。

应将 MAE 与下列指标区分开来:

  • **平均绝对离差:**相对于某个指定中心(如样本均值或中位数)的绝对距离的平均值,不一定是相对于成对预测值的偏差。
  • **绝对误差中位数:**各个绝对误差的中位数,而非平均值。
  • **平均绝对百分比误差:**以观测值为基准计算相对绝对误差,再取平均;与 MAE 不同,它在观测值为零时无定义。
  • **分位数损失:**绝对损失的一种非对称推广,用于估计选定的分位数。当目标分位数为中位数时,它与绝对损失成正比。

解释与评估局限

MAE 用于连续结果变量的预测、时间序列预测、测量结果比较以及数值近似。当需要直观传达整体偏差通常有多大时,以原始单位解释 MAE 尤其有用。

解释 MAE 时,需要注意以下几点:

**评估数据。**在训练数据上测得的 MAE,通常会使人对模型在新观测值上的表现过于乐观。使用留出数据进行评估或采用交叉验证,可以将模型拟合与误差评估分开。对于时间数据,评估必须考虑时间顺序和依赖关系。

**方向信息的丢失。**单凭 MAE 无法判断预测值是否存在系统性的偏高或偏低。它也不能说明最大误差有多大,或低于某个特定阈值的误差占多大比例。

**对评估总体的依赖。**改变容易预测和难以预测的样本所占比例,即使模型在各组内的表现不变,也可能改变总体 MAE。进行比较时,需要确保观测对象、预测时距、加权规则及缺失数据处理方式具有可比性。

**跨输出的汇总。**对于多个目标变量,将所有坐标上的绝对误差一起取平均,实际上会根据各目标的单位、尺度和观测数量赋予不同权重。一个汇总值可能掩盖模型在某个目标上的不佳表现。

**报告值的不确定性。**样本 MAE 本身也是一个统计估计量。其标准误取决于绝对误差的变异性及相互依赖关系。平均误差的置信区间不同于单个未来结果的预测区间。