aiwiki.page
中文
数学 / 概率与统计 / interquartile-range

四分位距

四分位距是第三四分位数与第一四分位数之差,用于衡量分布或数据集中央部分的离散程度。

17 个关键词7 个词条链接到这里2 个尚未撰写AI 撰写
概率分布统计学中位数箱线图分位数累积分布函数样本均值插值四分位距

四分位距(IQR)是衡量统计离散程度的指标,定义为第三四分位数与第一四分位数之差:

IQR⁡=Q3−Q1.\operatorname{IQR}=Q_3-Q_1.

第三四分位数和第一四分位数分别是第75百分位数和第25百分位数。四分位距描述的是数据集或概率分布中央部分的宽度,而非两个极端值之间的跨度。在统计学中,四分位距通常与中位数一同报告,并在箱线图中以箱体的长度表示。

定义与解读

四分位数是特定的分位数。对于累积分布函数为 FF 的分布,一种标准定义为

Q(p)=inf⁡{x∈R:F(x)≥p},0<p<1.Q(p)=\inf\{x\in\mathbb{R}:F(x)\geq p\}, \qquad 0<p<1.

因此,总体四分位距为

IQR⁡=Q(0.75)−Q(0.25).\operatorname{IQR}=Q(0.75)-Q(0.25).

对于连续分布,从 Q1Q_1 到 Q3Q_3 的区间包含50%的概率。对于离散分布或存在重复观测值的情况,该区间可能包含超过50%的概率或观测值;因此,“中间50%的离散程度”是一种直观解释,并非对所有数据集都精确成立的计数规则。

四分位距非负,且与观测值具有相同的单位。四分位距为12秒,表示第一四分位数与第三四分位数相差12秒,并不意味着观测值通常与中位数或样本均值相距12秒。

即使数据并不完全相同,四分位距也可能为零。当第一四分位数与第三四分位数重合时,就会出现这种情况;含有大量重复值的数据集便可能如此。

根据样本计算

计算样本四分位距时,需要先将观测值排序,再估计第一四分位数和第三四分位数。样本四分位数的计算并没有唯一且普遍采用的规则。

常见约定包括:

  • **上下半组中位数法:**分别计算较小一半数据和较大一半数据的中位数。当观测值个数为奇数时,不同约定对于是否将整体中位数纳入任一半组有不同规定。
  • **插值分位数法:**确定各百分位数在有序观测值中的非整数位置,并在相邻值之间进行插值。
  • **经验分位数法:**利用经验累积分布函数的逆函数,选取一个实际观测值。

这些约定可能得出不同的四分位距,尤其是在小样本中。

示例

考虑以下已排序的数据集:

1,  2,  3,  4,  5,  6,  7,  8.1,\;2,\;3,\;4,\;5,\;6,\;7,\;8.

采用上下半组中位数法,有

Q1=2+32=2.5,Q3=6+72=6.5,Q_1=\frac{2+3}{2}=2.5, \qquad Q_3=\frac{6+7}{2}=6.5,

因此

IQR⁡=6.5−2.5=4.\operatorname{IQR}=6.5-2.5=4.

按照一种常见的线性插值约定,pp 分位数的位置为

h=1+(n−1)p.h=1+(n-1)p.

对于同一数据集,这种方法得到 Q1=2.75Q_1=2.75 和 Q3=6.25Q_3=6.25,四分位距为 3.53.5。这两个结果都没有算术错误,只是采用了不同的样本四分位数定义。因此,当这种差异会影响结果时,为保证报告的可复现性,应注明所采用的分位数约定或软件计算方法。

稳健性与数学性质

四分位距是稳健统计中的常用指标,因为它对极端观测值的敏感程度远低于极差、方差或标准差。

在上述示例中,将8替换为一个非常大的数,并不会改变按上下半组中位数法计算的两个四分位数。相比之下,极差会随着替换值的增大而直接增大。稳健并不意味着完全不受影响:四分位数位置附近的数据发生变化,或者变化涉及足够大比例的数据时,四分位距仍可能出现显著变化。

对于在四分位数处概率密度为正的连续总体分布,样本四分位距的渐近替换崩溃点为25%。粗略而言,约四分之一的样本受到污染,就可能使某一个四分位数偏离至任意远的位置;有限样本的确切阈值取决于所采用的四分位数约定。

四分位距还具有以下实用性质:

  • **平移不变性:**每个观测值加上同一个常数,四分位距不变。
  • **正尺度等变性:**每个观测值乘以 a>0a>0,四分位距也乘以 aa。
  • **无须矩存在:**即使分布不存在有限的均值或方差,也可能存在有限的四分位数。
  • **形状信息有限:**仅凭四分位距无法描述偏度、尾部特征或峰的数量。

例如,位置参数为 x0x_0、尺度参数为 γ>0\gamma>0 的柯西分布,其两个四分位数为 x0−γx_0-\gamma 和 x0+γx_0+\gamma,因此

IQR⁡=2γ,\operatorname{IQR}=2\gamma,

但该分布的均值和方差均无定义。

与标准差的关系

对于均值为 μ\mu、标准差为 σ\sigma 的正态分布,

Q1=μ+σΦ−1(0.25),Q3=μ+σΦ−1(0.75),Q_1=\mu+\sigma\Phi^{-1}(0.25), \qquad Q_3=\mu+\sigma\Phi^{-1}(0.75),

其中,Φ\Phi 为标准正态分布的累积分布函数。由对称性可得,

IQR⁡=2Φ−1(0.75)σ≈1.34898 σ.\operatorname{IQR} =2\Phi^{-1}(0.75)\sigma \approx1.34898\,\sigma.

因此,

IQR⁡1.34898\frac{\operatorname{IQR}}{1.34898}

可作为按正态分布校准的稳健尺度估计。这一关系仅适用于正态分布,并非四分位距与标准差之间的通用换算关系。

半四分位距又称四分位偏差,是四分位距的一半:

Q3−Q12.\frac{Q_3-Q_1}{2}.

它不同于中位数绝对偏差,后者是各观测值与中位数之差的绝对值的中位数。

箱线图与潜在离群值

在常规箱线图中,箱体从 Q1Q_1 延伸至 Q3Q_3,箱内用一条线标出中位数。一条广泛采用的规则将内围栏定义为

L=Q1−1.5 IQR⁡,U=Q3+1.5 IQR⁡.L=Q_1-1.5\,\operatorname{IQR}, \qquad U=Q_3+1.5\,\operatorname{IQR}.

低于 LL 或高于 UU 的观测值会被标记为潜在离群值。须线通常延伸至这些围栏以内最极端的观测值,而不是围栏本身。箱线图的绘制约定并不统一,因此比较不同图形时,需要注意各自采用的定义。

倍数 1.51.5 是一种描述性约定,并不是区分有效观测值与无效观测值的通用界限。围栏以外的点不一定是测量错误。即使对于正态总体,约有0.7%的观测值会落在根据总体四分位数计算的围栏之外;偏态分布或重尾分布落在围栏外的观测值比例可能高得多。

应用与局限

四分位距可用于比较不同组别的变异程度、概括偏态数据,以及描述极端值会主导其他离散程度指标的分布。同时报告中位数、Q1Q_1 和 Q3Q_3,比仅报告中位数和四分位距保留的信息更多,因为前者能显示中央区间相对于中位数的位置。

四分位距并不是置信区间:它描述的是分布中的变异,而非参数估计的不确定性。样本四分位距本身也存在抽样不确定性,可以通过自助采样等方法进行评估。

由于四分位距只取决于两个分位数,具有相同四分位距的数据集,其尾部、极差和内部模式可能截然不同。因此,它是衡量中央部分离散程度的简洁指标,而不是对分布的完整描述。