中位数绝对偏差(MAD)是统计学中衡量离散程度的一种指标。它是各观测值与其中位数之差的绝对值的中位数。由于它取决于偏差分布的中间位置,而非偏差之和或平方和,因此对极端观测值相对不敏感。在稳健统计中,MAD 广泛用作标准差的替代指标,尤其适用于包含离群值或具有重尾特征的数据。
定义
对于观测值 ,首先计算样本中位数:
未经缩放的样本 MAD 定义为
当观测值个数为偶数时,通常约定将排序后居中的两个值的算术平均数作为中位数。这一约定既适用于原始观测值,也适用于它们的绝对偏差。
对于总体中位数指定为 的随机变量 ,总体 MAD 为
对于中位数不唯一的分布,定义时需要约定如何选取相关的中位数。如果累积分布函数 连续且严格递增,则 是下式唯一的非负解:
因此,区间 包含一半的概率。对于存在点质量的分布,这种形式的区间所包含的概率可能超过一半。
缩写 MAD 有时也用于表示平均绝对偏差。这是另一种统计量:它对绝对偏差取平均数,而非中位数。计算平均绝对偏差时,还必须明确所采用的中心值。
计算与示例
考虑以下已排序的数据:
其中位数为 。各观测值相对于 的绝对偏差为
将这些偏差排序后得到
其中位数为 ,因此 MAD 等于 。
将 替换为 会改变最大的偏差,但样本中位数和 MAD 均保持不变。相比之下,标准差会显著增大。
一种直接的实现方法是先对观测值排序,再对偏差排序;用大O记号表示,其时间复杂度为 。中位数选择算法可以避免完整排序,在线性时间内计算 MAD;这一时间保证是期望意义上的还是最坏情况下的,取决于所用的选择算法。
通过缩放估计标准差
原始 MAD 与标准差衡量离散程度的方式不同,因此数值通常不相等。在正态分布下,两者存在固定的关系。
若 ,则总体中位数为 ,且
其中 为标准正态累积分布函数。令此概率等于 ,可得
因此,在正态分布下具有相合性的缩放 MAD 为
这里, 是标准正态分布的第 75 百分位数,即 0.75 分位数。
在从正态总体独立抽样的条件下,这一缩放统计量是 的相合估计量:随着样本量增大,它趋近于总体标准差。系数 并不是将 MAD 换算为标准差的通用系数。其他分布假设通常需要不同的系数,而且有些分布并不存在有限的标准差。
在正态分布下具有相合性,也不意味着在有限样本下严格无偏。额外的修正可能取决于样本量和中位数的计算约定;这些修正涉及估计量的偏差,而非原始 MAD 的定义。
不同软件采用的约定各不相同。名为“MAD”的函数可能返回原始统计量,也可能返回缩放后的值,因此解释结果时必须考虑其缩放约定。
稳健性与统计性质
抵抗污染的能力
MAD 能抵抗少数任意极端的观测值的影响,因为这些观测值未必会显著改变居中的绝对偏差。相比之下,只要将一个观测值移到任意远的位置,就能使样本方差和标准差任意增大。
对于非退化的连续总体,MAD 的渐近替换崩溃点为 。直观地说,可能需要污染接近一半的样本,才能使这一尺度估计值任意增大或降至零。有限样本下的确切阈值取决于样本量、中位数的计算约定以及重复值的情况。一个本就含有大量相同值的数据集,即使没有任何额外污染,其 MAD 也可能为零。
崩溃点高并不意味着低于该阈值的污染毫无影响。它描述的是对任意严重失效的抵抗能力,而不是完全的稳定性。
平移与缩放性质
对于 ,有
因此,给所有观测值加上同一常数不会改变 MAD;将所有观测值乘以同一常数,则会使 MAD 乘以该常数的绝对值。该统计量与观测值具有相同的物理单位。
正态分布下的效率
稳健性需要付出一定代价。在独立且严格服从正态分布的抽样条件下,估计 时,缩放 MAD 相对于通常的样本标准差的渐近相对效率约为 。因此,在这一模型下,要达到相同的大样本精度,它所需的观测值数量约为后者的 倍。
这一比较依赖于特定模型。对于受污染或重尾的数据,通常使用的标准差可能远不如 MAD 稳定,其在正态模型下的效率优势也未必仍然存在。
无需矩条件
总体 MAD 不要求期望值或方差有限。例如,位置参数为 、尺度参数为 的柯西分布,其中位数为 ,MAD 为 ,尽管其均值和方差均无定义。
应用
MAD 通常与中位数一起报告,用于描述分布的中心位置和离散程度。它也用于估计噪声尺度、将残差标准化,以及构造筛查离群值的统计量。
一种常见的修正 z 分数为
前提是原始 MAD 为正。等价地说,这就是将中心化后的观测值除以在正态分布下具有相合性的缩放 MAD。在近似正态的模型下,它的尺度与普通 z 分数相近,但使用估计得到的中位数和 MAD,并不能使其严格服从标准正态分布。对这一统计量应用某个阈值,并不自动构成经过校准的统计假设检验。
在时间序列分析中,滚动 MAD 可以描述局部变异程度。其解释取决于窗口长度、局部趋势和序列相关性。在线性回归中,残差的 MAD 可以提供稳健的尺度估计,但仅仅以稳健方式计算残差尺度,并不能使拟合出的回归模型抵抗强影响观测值的影响。
局限性与相关度量
即使某些观测值彼此不同,MAD 也可能等于零。例如,
的中位数为 ,MAD 为 。当严格超过半数的观测值相同时,就会出现这种情况;对于离散数据、经过舍入的数据或含有大量零值的数据,这种情况可能很常见。此时,使用 MAD 进行标准化没有定义。
对于偏斜分布,MAD 将中位数两侧的偏差合并为一个数值。它不能描述不对称性,也不能区分上尾与下尾的特征。分位数或分别衡量两侧离散程度的指标,可以描述 MAD 未能反映的特征。
四分位距定义为第 75 百分位数与第 25 百分位数之差,是另一种稳健的离散程度度量。与 MAD 不同,它使用的是原始观测值的两个分位数,而不是中心化后绝对偏差的中位数。除某些特定的分布族外,这两个指标不一定成比例。
最后,MAD 较小并不意味着极端观测值不重要。该统计量有意限制了极端观测值的影响;它并不是为概括最大偏差、尾部风险或罕见极端值的出现频率而设计的。