四分位距(IQR)是衡量统计离散程度的指标,定义为第三四分位数与第一四分位数之差:
第三四分位数和第一四分位数分别是第75百分位数和第25百分位数。四分位距描述的是数据集或概率分布中央部分的宽度,而非两个极端值之间的跨度。在统计学中,四分位距通常与中位数一同报告,并在箱线图中以箱体的长度表示。
定义与解读
四分位数是特定的分位数。对于累积分布函数为 的分布,一种标准定义为
因此,总体四分位距为
对于连续分布,从 到 的区间包含50%的概率。对于离散分布或存在重复观测值的情况,该区间可能包含超过50%的概率或观测值;因此,“中间50%的离散程度”是一种直观解释,并非对所有数据集都精确成立的计数规则。
四分位距非负,且与观测值具有相同的单位。四分位距为12秒,表示第一四分位数与第三四分位数相差12秒,并不意味着观测值通常与中位数或样本均值相距12秒。
即使数据并不完全相同,四分位距也可能为零。当第一四分位数与第三四分位数重合时,就会出现这种情况;含有大量重复值的数据集便可能如此。
根据样本计算
计算样本四分位距时,需要先将观测值排序,再估计第一四分位数和第三四分位数。样本四分位数的计算并没有唯一且普遍采用的规则。
常见约定包括:
- **上下半组中位数法:**分别计算较小一半数据和较大一半数据的中位数。当观测值个数为奇数时,不同约定对于是否将整体中位数纳入任一半组有不同规定。
- **插值分位数法:**确定各百分位数在有序观测值中的非整数位置,并在相邻值之间进行插值。
- **经验分位数法:**利用经验累积分布函数的逆函数,选取一个实际观测值。
这些约定可能得出不同的四分位距,尤其是在小样本中。
示例
考虑以下已排序的数据集:
采用上下半组中位数法,有
因此
按照一种常见的线性插值约定, 分位数的位置为
对于同一数据集,这种方法得到 和 ,四分位距为 。这两个结果都没有算术错误,只是采用了不同的样本四分位数定义。因此,当这种差异会影响结果时,为保证报告的可复现性,应注明所采用的分位数约定或软件计算方法。
稳健性与数学性质
四分位距是稳健统计中的常用指标,因为它对极端观测值的敏感程度远低于极差、方差或标准差。
在上述示例中,将8替换为一个非常大的数,并不会改变按上下半组中位数法计算的两个四分位数。相比之下,极差会随着替换值的增大而直接增大。稳健并不意味着完全不受影响:四分位数位置附近的数据发生变化,或者变化涉及足够大比例的数据时,四分位距仍可能出现显著变化。
对于在四分位数处概率密度为正的连续总体分布,样本四分位距的渐近替换崩溃点为25%。粗略而言,约四分之一的样本受到污染,就可能使某一个四分位数偏离至任意远的位置;有限样本的确切阈值取决于所采用的四分位数约定。
四分位距还具有以下实用性质:
- **平移不变性:**每个观测值加上同一个常数,四分位距不变。
- **正尺度等变性:**每个观测值乘以 ,四分位距也乘以 。
- **无须矩存在:**即使分布不存在有限的均值或方差,也可能存在有限的四分位数。
- **形状信息有限:**仅凭四分位距无法描述偏度、尾部特征或峰的数量。
例如,位置参数为 、尺度参数为 的柯西分布,其两个四分位数为 和 ,因此
但该分布的均值和方差均无定义。
与标准差的关系
对于均值为 、标准差为 的正态分布,
其中, 为标准正态分布的累积分布函数。由对称性可得,
因此,
可作为按正态分布校准的稳健尺度估计。这一关系仅适用于正态分布,并非四分位距与标准差之间的通用换算关系。
半四分位距又称四分位偏差,是四分位距的一半:
它不同于中位数绝对偏差,后者是各观测值与中位数之差的绝对值的中位数。
箱线图与潜在离群值
在常规箱线图中,箱体从 延伸至 ,箱内用一条线标出中位数。一条广泛采用的规则将内围栏定义为
低于 或高于 的观测值会被标记为潜在离群值。须线通常延伸至这些围栏以内最极端的观测值,而不是围栏本身。箱线图的绘制约定并不统一,因此比较不同图形时,需要注意各自采用的定义。
倍数 是一种描述性约定,并不是区分有效观测值与无效观测值的通用界限。围栏以外的点不一定是测量错误。即使对于正态总体,约有0.7%的观测值会落在根据总体四分位数计算的围栏之外;偏态分布或重尾分布落在围栏外的观测值比例可能高得多。
应用与局限
四分位距可用于比较不同组别的变异程度、概括偏态数据,以及描述极端值会主导其他离散程度指标的分布。同时报告中位数、 和 ,比仅报告中位数和四分位距保留的信息更多,因为前者能显示中央区间相对于中位数的位置。
四分位距并不是置信区间:它描述的是分布中的变异,而非参数估计的不确定性。样本四分位距本身也存在抽样不确定性,可以通过自助采样等方法进行评估。
由于四分位距只取决于两个分位数,具有相同四分位距的数据集,其尾部、极差和内部模式可能截然不同。因此,它是衡量中央部分离散程度的简洁指标,而不是对分布的完整描述。