平均绝对误差(MAE)用于衡量成对数值之间误差的平均大小,这些数值最常见的是预测值与观测值。其计算方法是对每个误差取绝对值,再求平均。MAE 广泛用于统计学、机器学习和预测领域,以与预测量相同的单位表示误差。作为一种损失函数,它对误差施加线性惩罚,并对高估和低估一视同仁。
定义
对于 个观测值 及其对应的预测值 ,平均绝对误差定义为
带符号的误差可以定义为 ,也可以定义为其相反数;这一约定不影响 MAE。当预测值是统计模型的拟合值时,这些差值通常称为残差。
由定义可直接得到 MAE 的几个性质:
- 它是非负的。
- 当且仅当每个预测值都等于其对应的观测值时,它才等于零。
- 正误差与负误差不会相互抵消。
- 它与观测值具有相同的物理单位。
- 每个观测值对 MAE 的贡献都与其误差的大小成正比。
例如,观测值为 ,预测值为 ,则绝对误差为 。它们的 MAE 为
这意味着绝对偏差的平均值为一个单位,而不意味着每个预测值与其观测值都相差一个单位。
总体形式
对于结果变量 和预测值 ,相应的总体量是绝对误差的期望值
前提是该期望有限。这里, 和 是具有指定联合分布的随机变量。
对于一个固定的预测规则,若使用来自同一总体的独立观测值进行评估,则样本 MAE 是这一期望误差的估计值。如果绝对误差的期望有限,那么根据大数定律,样本 MAE 收敛于相应的总体值。
数学性质
缩放与平移
给观测值和预测值同时加上同一个常数,MAE 不变。将二者同时乘以常数 ,MAE 就乘以 。更一般地,
因此,将测量单位从米换算为厘米,会使 MAE 乘以 。这种对尺度的依赖使 MAE 在同一应用场景中易于解释,但也限制了对不同单位或数量级相差很大的量进行比较。
与距离及范数的关系
对于向量 ,
其中, 是以各分量绝对值之和定义的范数。因此,在维数及坐标配对固定的情况下,MAE 是经过比例缩放的距离:它具有对称性,仅在两个向量相同时为零,并且满足三角不等式。
这种几何解释针对的是成对的坐标。任意重排其中一个向量的分量,即使其所含数值不变,也可能改变 MAE。
绝对误差与中位数
绝对误差损失的一个核心性质是,它以中位数而非均值为目标。
对于一阶绝对矩有限的实值随机变量 ,其任意一个中位数都能在所有常数预测值 中使下式最小:
中位数 满足
使损失最小的值不一定唯一。对于包含偶数个观测值的样本,将观测值排序后,中间两个观测值之间的任意一点都能使绝对偏差之和最小。
在根据输入变量 进行预测时,若预测函数不受限制,则使期望绝对损失最小的预测函数对应于给定 时 的某个条件中位数。相比之下,在相关矩存在的情况下,使均方误差最小的预测函数对应于条件均值。
当结果变量的分布不对称时,这一区别很重要。两个设定正确的模型也可能给出不同的点预测,因为其中一个以最小化绝对误差为训练目标,另一个则以最小化平方误差为目标。不过,受限的模型类可能无法表示真实的条件中位数。
在模型拟合中的应用
使绝对残差之和或均值最小的估计方法,称为最小绝对偏差估计。在线性回归中,其形式为
该目标函数是关于 的凸函数,但不保证解唯一。
优化
在残差为零的位置,绝对误差不可微。对于单个观测值,对预测值求导可得
在 处,其次梯度集合为区间 。因此,在误差非零的位置,斜率的绝对值恒定,并不会随误差增大而增大。
通过引入辅助变量 ,线性模型的绝对误差拟合可以表述为一个线性规划问题:
这些约束保证 的最小可行值等于对应的绝对残差。对于非线性预测模型,尽管绝对损失关于每个预测值都是凸的,但目标函数关于模型参数通常并不是凸的。
概率解释
绝对误差拟合也有最大似然估计方面的解释。假设各误差相互独立,并服从具有共同尺度参数 的拉普拉斯分布:
当 固定时,对 最大化似然等价于最小化绝对残差之和。这为该拟合准则提供了一种概率上的依据;但将 MAE 用作评估指标,并不要求误差服从这一分布。
与平方误差类指标的比较
均方根误差定义为
对于同一组有限个误差,
当且仅当所有绝对误差都相等时,等号成立。
在 MAE 中,十个单位的误差所产生的损失是一个单位误差的十倍;在平方误差中,则是一百倍。因此,平方误差类指标更强调大误差。
人们常说,MAE 对极端误差的敏感程度低于平方误差类指标。这是相对而言的,并不意味着它具有完全的稳健性:
- 绝对损失仍然无界,因此足够大的误差可能主导平均值。
- 拟合模型的稳健性不仅取决于损失函数,还取决于预测变量和模型结构。
- 在回归中,预测变量取值极端的观测仍然可能产生很大的影响。
此外,MAE 不具有标准的平方误差分解,即不能按同样方式分解为方差与偏差平方。即使 MAE 相同,模型的系统性误差、尾部特征以及个体误差的分布也可能不同。
加权指标及相关指标
加权 MAE 定义为
其中 ,且权重总和为正。权重可以表示不同的出现频率或评估侧重点。权重的选择会改变所报告误差代表的总体或目标。
应将 MAE 与下列指标区分开来:
- **平均绝对离差:**相对于某个指定中心(如样本均值或中位数)的绝对距离的平均值,不一定是相对于成对预测值的偏差。
- **绝对误差中位数:**各个绝对误差的中位数,而非平均值。
- **平均绝对百分比误差:**以观测值为基准计算相对绝对误差,再取平均;与 MAE 不同,它在观测值为零时无定义。
- **分位数损失:**绝对损失的一种非对称推广,用于估计选定的分位数。当目标分位数为中位数时,它与绝对损失成正比。
解释与评估局限
MAE 用于连续结果变量的预测、时间序列预测、测量结果比较以及数值近似。当需要直观传达整体偏差通常有多大时,以原始单位解释 MAE 尤其有用。
解释 MAE 时,需要注意以下几点:
**评估数据。**在训练数据上测得的 MAE,通常会使人对模型在新观测值上的表现过于乐观。使用留出数据进行评估或采用交叉验证,可以将模型拟合与误差评估分开。对于时间数据,评估必须考虑时间顺序和依赖关系。
**方向信息的丢失。**单凭 MAE 无法判断预测值是否存在系统性的偏高或偏低。它也不能说明最大误差有多大,或低于某个特定阈值的误差占多大比例。
**对评估总体的依赖。**改变容易预测和难以预测的样本所占比例,即使模型在各组内的表现不变,也可能改变总体 MAE。进行比较时,需要确保观测对象、预测时距、加权规则及缺失数据处理方式具有可比性。
**跨输出的汇总。**对于多个目标变量,将所有坐标上的绝对误差一起取平均,实际上会根据各目标的单位、尺度和观测数量赋予不同权重。一个汇总值可能掩盖模型在某个目标上的不佳表现。
**报告值的不确定性。**样本 MAE 本身也是一个统计估计量。其标准误取决于绝对误差的变异性及相互依赖关系。平均误差的置信区间不同于单个未来结果的预测区间。