分位数是在概率分布或一组有序观测值中标定特定位置的数值。对于介于零和一之间的比例 , 分位数将分布的下部与上部分开:至少有比例为 的值小于或等于它,至少有比例为 的值大于或等于它。中位数是 分位数;四分位数、十分位数和百分位数则分别将分布划分为四个、十个和一百个概率区间。
分位数是统计学的基础概念,因为它们无需分布具有有限的均值或方差,就能描述分布的位置、离散程度、不对称性和极端结果。分位数的应用涵盖探索性图表、无分布推断、模拟、预测和风险度量等多种方法。其表面上的简单性掩盖了一些重要区别:总体分位数可能不唯一,不同的样本分位数计算约定可能得出不同的数值结果,而在观测稀少的尾部估计分位数时,不确定性会急剧增加。
数学定义与逆分布解释
对于 ,如果数值 满足
则称其为 分位数。记 ,上述条件可写为
这些条件既适用于连续分布,也适用于具有点质量的分布,以及两者的混合分布。它们也等价于要求 且 。
在每个概率水平上选定一个分位数的标准方法,是使用下分位数函数
这是广义反函数,不一定是通常意义上的反函数。累积分布函数可能有平坦区间或跳跃,因此不一定是一一映射,也不一定映满整个区间 。尽管如此,其下分位数函数仍满足以下实用的等价关系:
因此, 单调不减。按这一定义,它在 上左连续。
当分布中存在一段空隙,且该处的累积概率恰好等于所考察的概率水平时,分位数就会不唯一。假设 以各为 的概率取值 或 。每个 都满足中位数的定义,而下分位数函数选取的是 。在其他概率水平上,当 时,它给出 ;当 时,它给出 。因此,必须区分分位数的所有允许取值构成的集合,以及按某种特定约定定义的分位数函数。
如果 连续且严格递增,这些复杂情况便不再存在: 有唯一解,且 。仅有连续性并不能保证唯一性,因为连续的累积分布函数也可能在某个区间上保持不变。反过来,一个原子(即具有正概率质量的点)可以使同一个数值成为一整段概率水平对应的分位数。
端点概率水平 和 需要另行约定。通常通过 的单侧极限来定义这两个端点处的值,得到分布的本质下端点和本质上端点,其值可能为 或 。若将 直接代入上面的下确界公式,即使分布有界,通常也会得到 ,因此端点处的定义应明确说明。
常用分位数名称与分布示例
百分位数是以百分比表示概率水平的分位数:第90百分位数对应于 。第一、第二和第三四分位数分别对应于 、 和 ,而九个内部十分位分界点对应于 。在某些语境中,“四分位”也指这些分界点划分出的四组之一。所谓“最高四分位组”,通常指观测值中最高的四分之一,而不是某个具体数值。
对于区间 上的均匀分布,分位数函数为
因此,相等的概率增量对应于测量尺度上相等的数值增量。这是一种特例,而非常态。对于大多数分布,由于概率在某些区域比其他区域更为密集,等概率分组所占区间的宽度并不相等。
对于均值为 、标准差为 的正态分布,
其中, 为标准正态分布的累积分布函数。标准正态分布的第2.5和第97.5百分位数约为 和 ,第一和第三四分位数约为 和 。由对称性可知,其中位数等于 ;而尾部相邻分位数之间的间距不等,则反映出概率密度随着远离中心而降低。
对于速率参数为 的指数分布,
其中位数为 ,小于均值 。这一差异体现了该分布的右偏性:占比相对较小的大观测值将均值拉高至中位数之上。概率水平加倍并不意味着分位数也加倍,而且越高的百分位数之间的间距越大。
离散分布的例子凸显了另一种特点。对于成功概率为 的伯努利分布,当 时,下分位数为 ;当 时,下分位数为 。通常无法选出一个分界值,使严格小于该值的概率恰好为 。因此,当存在重复值或点质量时,严格小于所报告百分位数的观测值,其占比未必恰好等于该百分位数所标示的百分比。
即使分布的矩不存在,分位数仍然可以存在。标准柯西分布的分位数函数为
尽管其均值和方差均无定义,其中位数仍为零,第一和第三四分位数分别为 和 。因此,在常见的基于矩的概括性统计量失效时,基于分位数的描述仍然有意义。
样本分位数与插值约定
对于观测值 ,将其排序后的值记为
这些排序后的观测值称为次序统计量。经验分布函数为
其中 是示性函数。直接取下广义逆可得
这种“最近秩”规则选取一个实际观测值,并将每个观测值所承载的概率质量视为 。
许多常用的样本分位数计算方法则在相邻的次序统计量之间进行插值。一种广泛采用的约定令
并在 时定义
在上端点处,返回值为 。这一约定将样本最小值和最大值分别置于概率水平零和一处。其他约定采用不同的位置,例如 ,并对端点附近的情形作出明确规定。
在小样本中,这些区别可能相当显著。对于有序数据 ,按经验分布的下广义逆求得的第25百分位数为 ,而插值规则 给出的结果为 。对于中位数,经验分布的下广义逆给出 ,而通常采用的中间两个数取平均的约定则给出 。这两处数值差异都不是算术错误:这些方法定义了不同的样本概括量,也定义了总体分位数的不同估计量。
罗布·J. 海因德曼(Rob J. Hyndman)和范亚楠(Yanan Fan)于1996年通过描述九种样本分位数类型,系统梳理了这些差异。这一分类包括三种不连续规则和六种基于插值的规则。其中,第7型就是 约定;第8型采用特定设计的插值位置,旨在对各种分布给出近似中位数无偏的分位数估计。因此,即使软件使用相同的观测值和概率水平,也可能因所用的分位数类型不同而给出不同答案。
引入权重后,还需要进一步约定。对于总和为正的非负权重 ,一种自然的加权经验分布为
其广义逆定义了加权分位数。整数频数权重可以表示重复出现的观测值,而调查权重则可能用于反映不等的入样概率。仅凭这一公式,还无法统一加权分位数的插值规则。此外,能够还原总体分布的权重,并不自动保证不确定性估计的有效性;后者还取决于抽样设计。
抽样变异与统计推断
样本分位数是一种估计量,重复抽样会得到不同的数值。其抽样特性在很大程度上取决于目标总体分位数附近的概率大小。在概率密集的区域,即使估计的概率秩有所波动,测量尺度上的误差仍可能很小。而在稀疏的尾部,同样的秩波动可能对应大得多的数值误差。
假设相互独立的观测值服从同一个连续分布 , 分位数 唯一,且概率密度函数 在 处连续且为正。在通常的正则条件下,
因此,近似标准误为
这一结果可由低于 的观测值所占经验比例的波动,结合 的局部线性近似推导而得。概率密度在这里充当了概率误差与测量误差之间的换算因子。
对于正态总体,样本中位数的渐近方差为 ,而样本均值的方差为 。因此,在该模型中,中位数相对于均值的渐近效率为 ,约为 。这一比较仅适用于特定模型。在尾部更重的分布中,中位数可能稳定得多,而均值甚至可能没有有限的抽样方差。
无需估计概率密度,就可以利用次序统计量构造精确的、无分布假设的置信区间。若 连续且 ,则样本中低于 的观测值个数 服从参数为 和 的二项分布。因此,
根据二项分布的概率选取 和 ,即可得到覆盖率已知的区间。由于可选的秩是离散的,实际覆盖率往往高于名义目标,而非恰好与之相等。
对于连续的 ,经过变换的次序统计量 服从参数为 和 的贝塔分布。这为基于秩的推断提供了另一条途径,也说明了极端分位数为何需要大样本:只有少量观测值能提供远端尾部的信息。若 ,则在容量为 1,000 的样本中,高于目标分位数的观测值个数的期望仅为一。
当概率密度为零、分布含有点质量,或目标概率随样本量变化而趋近端点时,正态近似可能失效。观测值之间的依赖关系也很重要:时间序列的分位数方差通常与独立样本的不同。自助采样方法可以在许多满足正则条件的情形下估计不确定性,但对于不满足正则条件的分位数、极端次序统计量或相互依赖的观测值,其有效性并无必然保证。
稳健描述、离散程度与图形展示
分位数无需假定分布对称,就能简洁地描述分布。五数概括由最小值、第一四分位数、中位数、第三四分位数和最大值组成。其中三个居中的数值将总体位置与中间一半数据的离散程度区分开来,而两个极值则提供了关于观测值范围的额外信息。与使用均值和标准差的概括方式不同,五数概括并不暗示中心上下两侧的距离具有相近的解释。
四分位距为
它衡量分布中间一半的宽度。对于正态分布数据,总体四分位距约为 ,因此,将样本四分位距除以 ,就能得到按正态分布校准的尺度估计。这种校准并不普遍适用:对于其他形状的分布,四分位距与标准差之比有所不同,而且标准差可能没有定义。
箱线图与约翰·图基的探索性数据分析及其于1977年出版的《探索性数据分析》一书密切相关,用于将基于四分位数的概括结果可视化。一种常见画法是从第一四分位数到第三四分位数绘制箱体,标出中位数,并将须线延伸至距箱体不超过 倍四分位距范围内最远的观测值。更远的观测值则单独绘出。这些点只是按照某种绘图惯例标记出来的点,并不自动意味着测量错误或统计上显著的异常值。其他箱线图变体会采用不同的须线规则或四分位数计算方法。
分位数主要取决于数据的秩,因此对少量极端观测值的大小并不敏感。将最大观测值替换为其一百万倍的数值,许多居中的分位数仍保持不变。不过,这种抗干扰性也有局限。固定 分位数的渐近替换崩溃比例约为 ;中位数的这一比例达到最大值二分之一,而第99百分位数只需约百分之一的数据受到污染,就可能被推向任意大的值。因此,在声称“分位数”具有稳健性时,应当说明具体涉及哪些分位数。
对于在 处具有正密度的连续分布,在 处加入少量污染所产生的局部影响,在远离分界点的位置可描述为
与均值的影响函数不同,这一影响函数关于 有界。但当 较小时,其绝对值仍可能很大。
基于分位数的非对称性度量,通过比较中位数两侧相对应的距离来衡量不对称程度。当分母为正时,鲍利四分位偏度为
它着重反映分布中间一半的情况,可能无法捕捉仅存在于更远尾部的不对称性。因此,概率水平的选择决定了分位数概括能够揭示分布形状的哪些方面。
损失最小化与分位数回归
通过非对称的损失函数,可以从决策论角度刻画分位数。对于 ,定义检验损失(也称弹球损失)为
等价地,当 时,;当 时,。若 ,则低估和高估会受到不同的线性惩罚。当 时,损失为绝对误差的一半。
当期望损失有限时,使
达到最小值的取值恰好是 的 分位数。在候选值 处,期望损失的左导数与右导数之间的区间为
当且仅当该区间包含零时,期望损失取得最小值,由此得到条件 。若分布在最小值点处连续,这一条件可简化为 。这一刻画也解释了为何当期望损失在某一区间上保持不变时,分位数不唯一。
分位数回归将这一思想推广到条件分布。罗杰·科恩克与吉尔伯特·巴塞特于1978年提出了回归分位数。在线性模型设定下,
系数估计通过最小化下式得到:
该目标函数是凸的、分段线性的,可以表示为一个线性规划问题。当 时,该方法就成为最小绝对偏差回归。
与普通的线性回归(均值回归)不同,分位数回归能够描述预测变量与结果分布的下部、中部和上部之间存在的不同关系。例如,某个预测变量可能仅与支出中位数的较小变化相关,却与第90百分位数的大幅变化相关。这种模式可能表明离散程度发生变化,或条件响应具有非对称性。系数反映的是给定模型中的关联,并不天然代表因果效应。
在协变量平均值处拟合得到的条件分位数,通常并不等于总体的无条件分位数。不同子总体的分位数不能通过线性平均得到总体分位数,混合分布的分位数必须根据混合分布求得。此外,在多个概率水平上分别拟合回归模型,可能产生相互交叉的曲线,使得在某些协变量取值下,估计的第90百分位数反而低于估计的中位数。联合约束、单调重排及其他防交叉方法可用于解决这种不相容问题。
弹球损失也用于评价概率预测:对应的真实分位数可使期望损失最小。因此,对于标为“第90百分位数”的预测,评估时不应仅将其视为一个较大的点预测值,而应将其视为对预测分布某一特定特征的估计。校准性、预测锐度以及在不同协变量群组中的表现,仍是预测质量中各不相同的方面。
变换、模拟与积分恒等式
分位数在递增变换下具有自然的对应关系。如果 在相关支撑集上连续且严格递增,那么
例如,对正态随机变量的分位数取指数,就得到相应对数正态随机变量的分位数。这种等变性是分位数适用于通过对数或其他单调变换相互关联的测量尺度的原因之一。均值通常不具备同样的性质: 不一定等于 。
对于严格递减的变换,概率水平的次序会反转。在保证分位数唯一的条件下,
存在原子或分位数不唯一时,要写出精确公式,就必须区分下分位数与上分位数的定义约定。即使对于递增变换,插值也可能使样本分位数的计算变得复杂。由次序统计量直接确定的分位数在严格递增映射下完全满足上述变换关系,但插值得到的分位数通常不满足,因为非线性变换与线性插值的运算次序不可交换。
分位数函数是逆变换采样的基础。如果 服从 上的均匀分布,那么
的累积分布函数为 。事实上,
这种构造不仅适用于累积分布函数具有通常意义下反函数的分布,也适用于离散分布和混合分布。 的水平区间能以正确的概率生成各个原子。
与之相关的概率积分变换则沿相反方向进行。当 连续时, 服从 上的均匀分布。对于离散分布,这一结论不成立: 只能取某些特定的累积概率值。在跳跃区间内引入随机化可以恢复均匀性。如果 是一个独立的均匀随机变量,那么
服从均匀分布。在评估计数结果或类别结果的概率预测时,这一区别十分重要。
分位数还可以给出期望的积分表示。对于可积随机变量,
更一般地,只要相关期望存在,就有
这些恒等式源于 与 具有相同分布这一事实。它们表明,完整的分位数函数包含计算分布相关平均值所需的全部信息,而少数选定的分位数则不具备这一能力。
用同一个均匀随机变量生成 和 ,可以构造两个分布的有序耦合。这种构造适用于基于蒙特卡洛方法的比较,因为共用随机性可以降低模拟系统之间差值的变异程度。其效果取决于模拟输出对共同随机输入的响应方式。
算法与大规模计算
对于有限数据集,计算单个基于次序统计量的精确分位数,并不需要对全部数据排序。标准的基于比较的排序算法需要进行 次比较,才能将全部 个观测值排序,排序后便可方便地查询分位数。另一种办法是使用选择算法,以线性期望时间找到指定秩上的观测值。计算插值分位数时,至多只需要相关的相邻次序统计量,而不需要完整的排序结果。
快速选择算法源自基于划分的排序算法,采用合适的枢轴选择策略时,其期望运行时间为线性,但基本形式在最坏情况下的运行时间为平方量级。曼努埃尔·布卢姆、罗伯特·弗洛伊德、沃恩·普拉特、罗纳德·里维斯特和罗伯特·塔扬于1973年发表的确定性中位数的中位数选择算法,实现了最坏情况下的线性时间。实际实现通常采用混合策略,因为常数因子、内存访问模式以及所需分位数的数量,对性能的影响并不亚于渐近界。
对于理论分布,计算 通常是一个数值求逆问题。如果能够计算 ,就可以用二分法不断缩小包含解的区间,从而求得解。如果存在光滑且为正的密度函数,牛顿法采用以下迭代式:
带保护机制的方法将快速的局部更新与区间夹逼相结合,以避免发散或产生无效的迭代值。对于离散分布,则需要寻找使累积概率达到目标值的最小取值。
极端概率会带来浮点运算方面的困难。当 接近1时,通过减法计算 可能损失有效数字。因此,可靠的程序库会提供生存函数及其反函数,直接处理上尾概率。同样,在对数域中计算概率可以避免下溢。当分位数附近的密度极小时,一种数值方法即使在概率空间中很准确,在原始测量尺度上也可能不准确。
流式数据需要另一种权衡,因为存储并排序每一个观测值可能并不可行。分位数草图维护紧凑的数据摘要,用于回答近似秩查询。2001年提出的格林沃尔德–卡纳算法能够提供确定性的秩误差保证,所需空间的增长速度远低于数据量的增长速度。佐哈尔·卡尔宁、凯文·朗和埃多·利伯蒂于2016年提出的KLL草图通过随机化压缩,在空间占用与精度之间实现了良好的权衡。其他摘要方法(包括t-digest)则侧重于尾部查询的实际精度。
秩误差保证并不等同于绝对误差保证。如果周围的观测值相隔很远,那么即使估计分位数的秩与目标秩之差不超过 ,其数值仍可能与真实的样本分位数相差很大。在分布式计算中,通常也不能通过对局部分位数取平均来得到全局分位数。精确合并需要充分的分布信息;近似合并则依赖具有明确定义的合并规则的摘要。
在风险、预测和参考限值中的应用
当决策的不同后果所带来的代价不对称时,分位数往往会发挥作用。在经典的单周期库存问题中,备货不足会产生缺货成本,备货过多则会产生过量库存成本。如果这两类边际成本分别为 和 ,那么在标准线性成本模型下,最优库存水平就是需求分布中分位水平为下式的分位数:
因此,目标库存水平取决于两类成本的相对大小,而不一定取决于需求的中位数或均值。这为分位数损失最小化提供了直接的实际运作解释。
在金融领域,在给定的正负号约定和时间范围下,水平为 的风险价值通常定义为损失分布的 分位数。99% 风险价值阈值标识了一个只有在上尾区域才会达到或超过的损失水平,具体还取决于如何处理概率原子,即具有非零概率质量的点。它并不说明损失一旦越过该阈值后会有多大。由于投资组合合并时,分位数的表现可能不规则,因此风险价值并非对所有损失分布都满足次可加性。
预期损失补充了有关上尾的信息。一种标准的基于分位数的定义为
前提是该积分有限。对于连续损失分布,若阈值处不存在造成问题的概率原子,这相当于损失最严重的 部分的平均损失。对于离散损失,积分定义只将截断点处所需的那部分概率纳入计算;如果简单地对严格超过风险价值的损失取条件均值,得到的数值可能不同。
在预测中,下侧和上侧预测分位数构成一个预测区间。名义覆盖率为 的等尾区间,使用预测分布的 和 分位数。预测区间针对未来的结果,而置信区间针对未知参数。预测分位数必须考虑作为条件的信息,并且视建模框架而定,还须考虑参数的不确定性。等尾区间不一定是在包含相同概率的区间中最短的。
在环境分析中,高分位数用于描述异常大的降雨量、河流流量或异常高的温度。如果相互独立的年度最大值服从一个不随时间变化的分布,则分位数 称为 年一遇水平。这表示每年的超越概率为 ,并不保证每 年恰好超越一次。在独立性模型下, 年内至少超越一次的概率为 。趋势或相关性会改变这一解释。
参考限值和生长曲线也利用分位数,确定某个观测值相对于指定人群的位置。百分位秩是一种描述性指标:其含义取决于年龄、测量方法、人群构成及其他条件变量。它本身既不构成诊断,也不能判断某个数值是否理想。在计算机系统中,类似的百分位数汇总指标用于描述响应时间:较低的延迟中位数可以与较高的第 99 百分位延迟同时存在,从而揭示仅看平均值可能掩盖的延迟。
分布比较与多元推广
我们可以比较完整的分位数函数,而不必将其简化为少数几个分界值。分位数–分位数图,简称 Q–Q 图,将一个分布的分位数与另一个分布的对应分位数绘制在一起。如果两个分布仅在位置和正尺度上存在差异,那么它们的总体 Q–Q 关系是一条直线。曲线弯曲则表明分布形状存在其他差异,例如尾部不对称或尾部更厚。有限样本中,尾部点的变动尤其大,因为它们仅取决于相对较少的观测值。
如果
那么在通常的一阶随机序意义下, 小于 。等价地,
因此,分位数比较表达的是整个分布的序关系,而不仅仅是均值或中位数的比较。两个分布可能具有相同的中位数,但它们的分位数函数反复相交,因而在随机序意义下,两者都不大于对方。
分位数还为一维瓦瑟斯坦距离提供了一个特别简单的公式。对于 ,假设 阶矩有限,则有
对于成本函数 ,单调耦合 能够达到最小运输成本。这个公式将秩匹配与最优传输联系起来:将处于相同概率位置的值配对,而距离衡量的是将一个分布转变为另一个分布所需的位移量。
当 时,有如下相关恒等式:
它给出了在累积概率空间和测量值空间中衡量分布差异的两种等价方式。这一等式以完整分布为基础;少数几个百分位数相同,并不能证明两个分布相同或彼此接近。
将分位数推广到多个维度更为困难,因为向量不存在唯一自然的全序关系。逐坐标计算的分位数可以概括边缘分布,却忽略了依赖关系。即使两个坐标各自低于其第 95 百分位数的概率都为 ,两者同时低于各自分界值的概率仍取决于它们的联合分布。因此,由边缘分布的分界值构成的矩形区域,并不会自动具有相应的联合覆盖概率。
不同的多元构造保留了一维分位数概念的不同特征。基于深度的方法生成层层嵌套的中心区域;方向方法考察投影的分位数;空间方法推广类似中位数的优化准则;基于传输的方法则将参考分布映射到目标分布。这些构造的结果未必一致,也不存在一种普遍优于其他定义的多元分位数。具体选择取决于应用更看重中心性、方向上的极端值、几何不变性,还是某种特定的概率传输解释。