分位数函数通过为每个累积概率水平指定一个数值来描述概率分布。若 F 是该分布的累积分布函数(CDF),其分位数函数通常定义为
Q(p)=inf{x∈R:F(x)≥p},0<p<1.
因此,Q(p) 是累积概率达到或超过 p 时的最小阈值。即使分布是离散的,或者其累积分布函数存在平坦区间,这一定义也能以一致的方式选取分位数。分位数函数用于统计描述、模拟、分布比较以及尾部行为分析。
定义与解释
对于实值随机变量 X,
F(x)=Pr(X≤x).
累积分布函数将阈值 x 映射为累积概率;分位数函数则反过来,将概率水平 p 映射为阈值。
例如:
- Q(0.5) 是一个中位数,按上述约定,具体为下中位数。
- Q(0.25) 和 Q(0.75) 分别是下四分位数和上四分位数。
- Q(0.95) 是第 95 百分位数。
记
F(x−)=t↑xlimF(t),
则 q=Q(p) 满足
F(q−)≤p≤F(q).
等价地,
Pr(X<q)≤pandPr(X≤q)≥p.
这些不等式比方程 F(q)=p 更具一般性,因为对于离散分布,该方程可能无解。
更广义地说,任何满足这些不等式的数值都可以称为 p 分位数。这样的数值不一定唯一。通常采用的分位数函数选取符合条件的最小值。
端点约定
在 0<p<1 上,这一定义最为直接,此时实值随机变量的 Q(p) 为有限值。一种常见的扩展方式是
Q(0)=p↓0limQ(p),Q(1)=p↑1limQ(p).
它们分别是分布的本质下端点和本质上端点,可能为无穷。
端点约定需要明确说明。若直接将 p=0 代入下确界定义,则对任意累积分布函数都会得到 −∞,而不是有界分布的下端点。
广义求逆
当 F 在与 (0,1) 内的概率相对应的取值范围上连续且严格递增时,分位数函数就是通常意义上的反函数:
F(Q(p))=p.
一般而言,累积分布函数不一定可逆:
- F 的跳跃表示某个值处集中着正的概率。
- F 的常值区间表示某个区间内没有概率质量。
- 有界分布的累积分布函数在其支撑集之外的两端均为常值。
下确界定义能够处理所有这些情况。它的基本求逆性质为
Q(p)≤x⟺p≤F(x),0<p<1.
这一等价关系源于累积分布函数的单调性和右连续性。
分位数函数是单调不减的单调函数,并且在 (0,1) 上左连续。其他广义逆约定可能在某些概率水平上给出不同的值,因此,当分布存在间隙或原子时,定义中的不等式十分重要。
F 在 x 处的跳跃会使 Q 出现一个常值区间:
F(x−)<p≤F(x)⟹Q(p)=x.
反过来,分布支撑集中的间隙可能使 Q 出现跳跃。这些特征使分位数函数有别于光滑的反函数曲线。
示例
均匀分布
对于 [a,b] 上的均匀分布,其中 a<b,
Q(p)=a+(b−a)p.
累积概率的相等增量对应于数值的相等增量。
指数分布
对于速率参数为 λ>0 的指数分布,
F(x)=1−e−λx,x≥0.
解出 x,得到
Q(p)=−λln(1−p).
当 p 趋近于 1 时,分位数无限增大。
正态分布
若 X 服从均值为 μ、标准差为 σ>0 的正态分布,则
Q(p)=μ+σΦ−1(p),
其中 Φ 是标准正态累积分布函数。
标准正态分位数函数没有初等闭式表达式,通常使用数值近似或专门的库函数计算。
离散分布
假设
Pr(X=0)=0.2,Pr(X=1)=0.5,Pr(X=3)=0.3.
则
Q(p)=⎩⎨⎧0,1,3,0<p≤0.2,0.2<p≤0.7,0.7<p<1.
特别地,Q(0.7)=1,而不是 3。在这一概率水平上,[1,3] 中的每个值都满足广义的分位数不等式,但广义逆约定选取的是 1。
解析性质
导数与密度
假设 F 在 Q(p) 附近具有连续且为正的概率密度函数 f。对 F(Q(p))=p 求导,得到
Q′(p)=f(Q(p))1.
导数 Q′(p) 有时称为分位数密度或稀疏度函数。
在密度较小的地方,概率水平的微小变化可能对应于分位数的较大变化。这有助于解释许多分布中极端分位数的敏感性。上述导数公式不适用于原子处、分位数函数的跳跃处,或不满足所需光滑性与正值条件的地方。
若 f 还可微,则
Q′′(p)=−f(Q(p))3f′(Q(p)).
位置与尺度
对于 Y=a+bX,其中 b>0,
QY(p)=a+bQX(p).
因此,尺度系数为正的位置—尺度变换保持分位数的顺序。
更一般地,若 g 连续且严格递增,
Qg(X)(p)=g(QX(p)).
对于连续且严格递减的变换,概率顺序会反转。对于存在跳跃的分布,使用涉及 QX(1−p) 的公式时,需要留意单侧极限与分位数约定。
期望与矩
分位数函数也包含了期望值的信息。若 X 可积,
E[X]=∫01Q(p)dp.
更一般地,对于可测函数 h,只要期望有定义,就有
E[h(X)]=∫01h(Q(p))dp
。这些表达式可以解释为勒贝格积分。
若二阶矩有限,
Var(X)=∫01Q(p)2dp−(∫01Q(p)dp)2.
因此,分位数函数不仅确定各个百分位数,还确定整个分布及其所有存在的矩。
随机变量的生成
分位数函数是逆变换采样的基础。若
U∼Uniform(0,1),
则
的累积分布函数为 F。事实上,
Pr(Q(U)≤x)=Pr(U≤F(x))=F(x).
与通常的求逆不同,这一结果对离散分布和混合分布仍然成立。
例如,可以通过下式生成指数随机变量:
X=−λln(1−U).
这种构造广泛应用于蒙特卡洛方法。其计算效率取决于分位数函数是否易于求值;对于某些特定分布,其他模拟方法可能更合适。
反向的结论需要额外的假设。若 F 连续,则 F(X) 在 (0,1) 上服从均匀分布,这一结果称为概率积分变换。对于不连续的累积分布函数,F(X) 通常不服从均匀分布。
经验分位数函数
给定观测值 x1,…,xn,经验分布函数为
Fn(x)=n1i=1∑n1{xi≤x}.
设排序后的观测值为
x(1)≤x(2)≤⋯≤x(n).
Fn 的广义逆为
Qn(p)=x(⌈np⌉),0<p<1.
它是一个取值为样本观测值的阶梯函数。
统计软件也使用其他样本分位数定义,往往涉及在相邻的有序观测值之间进行插值。这些定义不一定是 Fn 的严格广义逆。因此,对于同一个小样本,不同软件包可能给出不同的四分位数或百分位数。
抽样不确定性
在独立同分布抽样下,若 F 在 q=Q(p) 附近可微,且具有满足 f(q)>0 的连续密度,则
n(Qn(p)−Q(p))dN(0,f(Q(p))2p(1−p)).
相应的近似标准误为
nf(Q(p))2p(1−p).
这一结果针对的是样本量增大时保持固定的概率水平 p。对于概率水平随样本量趋近于 0 或 1、因而越来越极端的分位数,它并不自动适用。在目标分位数处存在原子或密度为零的分布,也需要另作分析。
作为优化问题解的分位数
分位数可以通过损失函数来刻画。对于 0<p<1,定义检验损失(check loss),又称弹球损失(pinball loss),为
ρp(u)=u(p−1{u<0}).
等价地,
ρp(u)={pu,(1−p)(−u),u≥0,u<0.
对于可积随机变量 X,使
E[ρp(X−a)]
在所有实数 a 上达到最小值的,恰好是满足下式的那些值:
F(a−)≤p≤F(a).
通常采用的 Q(p) 是其中最小的最小化解。
当 p=0.5 时,这一损失与绝对误差成正比,这解释了为什么中位数能够使期望绝对偏差最小。其他概率水平则对预测偏高和预测偏低施加不同的惩罚。
这一刻画构成了分位数回归的基础;分位数回归建模的是条件分位数,而不是条件均值。
应用与计算
分位数函数支持多种分布分析:
- 分布比较:分位数图用于比较两个分布的分位数。近似线性的关系可能表明二者存在位置—尺度关系。
- **尾部概括:**高分位数或低分位数描述了以指定概率被超过的阈值。仅凭一个分位数,无法描述超出该阈值的观测值有多大。
- **预测:**在概率覆盖率得到适当确认的情况下,可以用条件分位数定义预测区间。
- **敏感性分析:**分位数的导数衡量数值阈值随累积概率变化的快慢。
没有闭式表达式时,可以通过求解下式来计算连续分布的分位数:
F(x)−p=0.
如果能够找到合适的根所在区间,带区间保护的求根方法就较为可靠。牛顿法采用以下迭代公式:
xk+1=xk−f(xk)F(xk)−p,
但当密度很小或初始近似较差时,可能不稳定。
对于离散分布,求解 F(x)=p 通常并不合适,因为该方程可能无解。计算时应寻找累积概率至少为 p 的最小值。
极端尾部计算需要特别注意浮点运算。当 p 接近 1 时,从 1 中减去 p 可能损失精度,累积分布函数值也可能被舍入为 1。因此,数值库可能提供逆生存函数,或者接受以对数形式表示的概率。这些接口能够保留原本在分位数求值开始之前就会丢失的信息。