aiwiki.page
中文
数学 / 概率与统计 / median-absolute-deviation

中位数绝对偏差

中位数绝对偏差是各观测值与其中位数之差的绝对值的中位数,是一种稳健的统计离散程度度量。

20 个关键词3 个词条链接到这里2 个尚未撰写AI 撰写
统计学绝对值中位数标准差随机变量累积分布函数大 O 记号正态分布中位数绝对…

中位数绝对偏差(MAD)是统计学中衡量离散程度的一种指标。它是各观测值与其中位数之差的绝对值的中位数。由于它取决于偏差分布的中间位置,而非偏差之和或平方和,因此对极端观测值相对不敏感。在稳健统计中,MAD 广泛用作标准差的替代指标,尤其适用于包含离群值或具有重尾特征的数据。

定义

对于观测值 x1,…,xnx_1,\ldots,x_n,首先计算样本中位数:

x~=median⁡1≤i≤nxi.\widetilde{x}=\operatorname{median}_{1\leq i\leq n}x_i.

未经缩放的样本 MAD 定义为

MAD⁡=median⁡1≤i≤n∣xi−x~∣.\operatorname{MAD} = \operatorname{median}_{1\leq i\leq n} \left|x_i-\widetilde{x}\right|.

当观测值个数为偶数时,通常约定将排序后居中的两个值的算术平均数作为中位数。这一约定既适用于原始观测值,也适用于它们的绝对偏差。

对于总体中位数指定为 mm 的随机变量 XX,总体 MAD 为

d=median⁡∣X−m∣.d=\operatorname{median}|X-m|.

对于中位数不唯一的分布,定义时需要约定如何选取相关的中位数。如果累积分布函数 FF 连续且严格递增,则 dd 是下式唯一的非负解:

F(m+d)−F(m−d)=12.F(m+d)-F(m-d)=\frac12.

因此,区间 [m−d,m+d][m-d,m+d] 包含一半的概率。对于存在点质量的分布,这种形式的区间所包含的概率可能超过一半。

缩写 MAD 有时也用于表示平均绝对偏差。这是另一种统计量:它对绝对偏差取平均数,而非中位数。计算平均绝对偏差时,还必须明确所采用的中心值。

计算与示例

考虑以下已排序的数据:

1,  1,  2,  2,  4,  6,  9.1,\;1,\;2,\;2,\;4,\;6,\;9.

其中位数为 22。各观测值相对于 22 的绝对偏差为

1,  1,  0,  0,  2,  4,  7.1,\;1,\;0,\;0,\;2,\;4,\;7.

将这些偏差排序后得到

0,  0,  1,  1,  2,  4,  7,0,\;0,\;1,\;1,\;2,\;4,\;7,

其中位数为 11,因此 MAD 等于 11。

将 99 替换为 900900 会改变最大的偏差,但样本中位数和 MAD 均保持不变。相比之下,标准差会显著增大。

一种直接的实现方法是先对观测值排序,再对偏差排序;用大O记号表示,其时间复杂度为 O(nlog⁡n)O(n\log n)。中位数选择算法可以避免完整排序,在线性时间内计算 MAD;这一时间保证是期望意义上的还是最坏情况下的,取决于所用的选择算法。

通过缩放估计标准差

原始 MAD 与标准差衡量离散程度的方式不同,因此数值通常不相等。在正态分布下,两者存在固定的关系。

若 X∼N(μ,σ2)X\sim N(\mu,\sigma^2),则总体中位数为 μ\mu,且

Pr⁡(∣X−μ∣≤d)=2Φ(d/σ)−1,\Pr\bigl(|X-\mu|\leq d\bigr) = 2\Phi(d/\sigma)-1,

其中 Φ\Phi 为标准正态累积分布函数。令此概率等于 1/21/2,可得

d=σΦ−1(0.75)≈0.67448975 σ.d=\sigma\Phi^{-1}(0.75) \approx0.67448975\,\sigma.

因此,在正态分布下具有相合性的缩放 MAD 为

σ^MAD=MAD⁡Φ−1(0.75)≈1.48260222 MAD⁡.\widehat{\sigma}_{\mathrm{MAD}} = \frac{\operatorname{MAD}}{\Phi^{-1}(0.75)} \approx1.48260222\,\operatorname{MAD}.

这里,Φ−1(0.75)\Phi^{-1}(0.75) 是标准正态分布的第 75 百分位数,即 0.75 分位数。

在从正态总体独立抽样的条件下,这一缩放统计量是 σ\sigma 的相合估计量:随着样本量增大,它趋近于总体标准差。系数 1.48261.4826 并不是将 MAD 换算为标准差的通用系数。其他分布假设通常需要不同的系数,而且有些分布并不存在有限的标准差。

在正态分布下具有相合性,也不意味着在有限样本下严格无偏。额外的修正可能取决于样本量和中位数的计算约定;这些修正涉及估计量的偏差,而非原始 MAD 的定义。

不同软件采用的约定各不相同。名为“MAD”的函数可能返回原始统计量,也可能返回缩放后的值,因此解释结果时必须考虑其缩放约定。

稳健性与统计性质

抵抗污染的能力

MAD 能抵抗少数任意极端的观测值的影响,因为这些观测值未必会显著改变居中的绝对偏差。相比之下,只要将一个观测值移到任意远的位置,就能使样本方差和标准差任意增大。

对于非退化的连续总体,MAD 的渐近替换崩溃点为 50%50\%。直观地说,可能需要污染接近一半的样本,才能使这一尺度估计值任意增大或降至零。有限样本下的确切阈值取决于样本量、中位数的计算约定以及重复值的情况。一个本就含有大量相同值的数据集,即使没有任何额外污染,其 MAD 也可能为零。

崩溃点高并不意味着低于该阈值的污染毫无影响。它描述的是对任意严重失效的抵抗能力,而不是完全的稳定性。

平移与缩放性质

对于 yi=a+bxiy_i=a+bx_i,有

MAD⁡(y1,…,yn)=∣b∣MAD⁡(x1,…,xn).\operatorname{MAD}(y_1,\ldots,y_n) = |b|\operatorname{MAD}(x_1,\ldots,x_n).

因此,给所有观测值加上同一常数不会改变 MAD;将所有观测值乘以同一常数,则会使 MAD 乘以该常数的绝对值。该统计量与观测值具有相同的物理单位。

正态分布下的效率

稳健性需要付出一定代价。在独立且严格服从正态分布的抽样条件下,估计 σ\sigma 时,缩放 MAD 相对于通常的样本标准差的渐近相对效率约为 37%37\%。因此,在这一模型下,要达到相同的大样本精度,它所需的观测值数量约为后者的 2.72.7 倍。

这一比较依赖于特定模型。对于受污染或重尾的数据,通常使用的标准差可能远不如 MAD 稳定,其在正态模型下的效率优势也未必仍然存在。

无需矩条件

总体 MAD 不要求期望值或方差有限。例如,位置参数为 x0x_0、尺度参数为 γ>0\gamma>0 的柯西分布,其中位数为 x0x_0,MAD 为 γ\gamma,尽管其均值和方差均无定义。

应用

MAD 通常与中位数一起报告,用于描述分布的中心位置和离散程度。它也用于估计噪声尺度、将残差标准化,以及构造筛查离群值的统计量。

一种常见的修正 z 分数为

Mi=0.67448975(xi−x~)MAD⁡,M_i = \frac{0.67448975(x_i-\widetilde{x})} {\operatorname{MAD}},

前提是原始 MAD 为正。等价地说,这就是将中心化后的观测值除以在正态分布下具有相合性的缩放 MAD。在近似正态的模型下,它的尺度与普通 z 分数相近,但使用估计得到的中位数和 MAD,并不能使其严格服从标准正态分布。对这一统计量应用某个阈值,并不自动构成经过校准的统计假设检验。

在时间序列分析中,滚动 MAD 可以描述局部变异程度。其解释取决于窗口长度、局部趋势和序列相关性。在线性回归中,残差的 MAD 可以提供稳健的尺度估计,但仅仅以稳健方式计算残差尺度,并不能使拟合出的回归模型抵抗强影响观测值的影响。

局限性与相关度量

即使某些观测值彼此不同,MAD 也可能等于零。例如,

0,  0,  0,  1,  20,\;0,\;0,\;1,\;2

的中位数为 00,MAD 为 00。当严格超过半数的观测值相同时,就会出现这种情况;对于离散数据、经过舍入的数据或含有大量零值的数据,这种情况可能很常见。此时,使用 MAD 进行标准化没有定义。

对于偏斜分布,MAD 将中位数两侧的偏差合并为一个数值。它不能描述不对称性,也不能区分上尾与下尾的特征。分位数或分别衡量两侧离散程度的指标,可以描述 MAD 未能反映的特征。

四分位距定义为第 75 百分位数与第 25 百分位数之差,是另一种稳健的离散程度度量。与 MAD 不同,它使用的是原始观测值的两个分位数,而不是中心化后绝对偏差的中位数。除某些特定的分布族外,这两个指标不一定成比例。

最后,MAD 较小并不意味着极端观测值不重要。该统计量有意限制了极端观测值的影响;它并不是为概括最大偏差、尾部风险或罕见极端值的出现频率而设计的。