aiwiki.page
中文
数学 / 概率与统计 / quantile-function

分位数函数

分位数函数将累积概率映射为分布中的数值,是累积分布函数的广义反函数。

25 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
概率分布累积分布函数分位数随机变量中位数反函数单调函数均匀分布分位数函数

分位数函数通过为每个累积概率水平指定一个数值来描述概率分布。若 FF 是该分布的累积分布函数(CDF),其分位数函数通常定义为

Q(p)=inf⁡{x∈R:F(x)≥p},0<p<1.Q(p)=\inf\{x\in\mathbb{R}:F(x)\ge p\}, \qquad 0<p<1.

因此,Q(p)Q(p) 是累积概率达到或超过 pp 时的最小阈值。即使分布是离散的,或者其累积分布函数存在平坦区间,这一定义也能以一致的方式选取分位数。分位数函数用于统计描述、模拟、分布比较以及尾部行为分析。

定义与解释

对于实值随机变量 XX,

F(x)=Pr⁡(X≤x).F(x)=\Pr(X\le x).

累积分布函数将阈值 xx 映射为累积概率;分位数函数则反过来,将概率水平 pp 映射为阈值。

例如:

  • Q(0.5)Q(0.5) 是一个中位数,按上述约定,具体为下中位数。
  • Q(0.25)Q(0.25) 和 Q(0.75)Q(0.75) 分别是下四分位数和上四分位数。
  • Q(0.95)Q(0.95) 是第 95 百分位数。

记

F(x−)=lim⁡t↑xF(t),F(x-)=\lim_{t\uparrow x}F(t),

则 q=Q(p)q=Q(p) 满足

F(q−)≤p≤F(q).F(q-)\le p\le F(q).

等价地,

Pr⁡(X<q)≤pandPr⁡(X≤q)≥p.\Pr(X<q)\le p \quad\text{and}\quad \Pr(X\le q)\ge p.

这些不等式比方程 F(q)=pF(q)=p 更具一般性,因为对于离散分布,该方程可能无解。

更广义地说,任何满足这些不等式的数值都可以称为 pp 分位数。这样的数值不一定唯一。通常采用的分位数函数选取符合条件的最小值。

端点约定

在 0<p<10<p<1 上,这一定义最为直接,此时实值随机变量的 Q(p)Q(p) 为有限值。一种常见的扩展方式是

Q(0)=lim⁡p↓0Q(p),Q(1)=lim⁡p↑1Q(p).Q(0)=\lim_{p\downarrow0}Q(p), \qquad Q(1)=\lim_{p\uparrow1}Q(p).

它们分别是分布的本质下端点和本质上端点,可能为无穷。

端点约定需要明确说明。若直接将 p=0p=0 代入下确界定义,则对任意累积分布函数都会得到 −∞-\infty,而不是有界分布的下端点。

广义求逆

当 FF 在与 (0,1)(0,1) 内的概率相对应的取值范围上连续且严格递增时,分位数函数就是通常意义上的反函数:

F(Q(p))=p.F(Q(p))=p.

一般而言,累积分布函数不一定可逆:

  • FF 的跳跃表示某个值处集中着正的概率。
  • FF 的常值区间表示某个区间内没有概率质量。
  • 有界分布的累积分布函数在其支撑集之外的两端均为常值。

下确界定义能够处理所有这些情况。它的基本求逆性质为

Q(p)≤x⟺p≤F(x),0<p<1.Q(p)\le x \quad\Longleftrightarrow\quad p\le F(x), \qquad 0<p<1.

这一等价关系源于累积分布函数的单调性和右连续性。

分位数函数是单调不减的单调函数,并且在 (0,1)(0,1) 上左连续。其他广义逆约定可能在某些概率水平上给出不同的值,因此,当分布存在间隙或原子时,定义中的不等式十分重要。

FF 在 xx 处的跳跃会使 QQ 出现一个常值区间:

F(x−)<p≤F(x)⟹Q(p)=x.F(x-)<p\le F(x) \quad\Longrightarrow\quad Q(p)=x.

反过来,分布支撑集中的间隙可能使 QQ 出现跳跃。这些特征使分位数函数有别于光滑的反函数曲线。

示例

均匀分布

对于 [a,b][a,b] 上的均匀分布,其中 a<ba<b,

Q(p)=a+(b−a)p.Q(p)=a+(b-a)p.

累积概率的相等增量对应于数值的相等增量。

指数分布

对于速率参数为 λ>0\lambda>0 的指数分布,

F(x)=1−e−λx,x≥0.F(x)=1-e^{-\lambda x},\qquad x\ge0.

解出 xx,得到

Q(p)=−ln⁡(1−p)λ.Q(p)=-\frac{\ln(1-p)}{\lambda}.

当 pp 趋近于 11 时,分位数无限增大。

正态分布

若 XX 服从均值为 μ\mu、标准差为 σ>0\sigma>0 的正态分布,则

Q(p)=μ+σΦ−1(p),Q(p)=\mu+\sigma\Phi^{-1}(p),

其中 Φ\Phi 是标准正态累积分布函数。

标准正态分位数函数没有初等闭式表达式,通常使用数值近似或专门的库函数计算。

离散分布

假设

Pr⁡(X=0)=0.2,Pr⁡(X=1)=0.5,Pr⁡(X=3)=0.3.\Pr(X=0)=0.2,\qquad \Pr(X=1)=0.5,\qquad \Pr(X=3)=0.3.

则

Q(p)={0,0<p≤0.2,1,0.2<p≤0.7,3,0.7<p<1.Q(p)= \begin{cases} 0,&0<p\le0.2,\\ 1,&0.2<p\le0.7,\\ 3,&0.7<p<1. \end{cases}

特别地,Q(0.7)=1Q(0.7)=1,而不是 33。在这一概率水平上,[1,3][1,3] 中的每个值都满足广义的分位数不等式,但广义逆约定选取的是 11。

解析性质

导数与密度

假设 FF 在 Q(p)Q(p) 附近具有连续且为正的概率密度函数 ff。对 F(Q(p))=pF(Q(p))=p 求导,得到

Q′(p)=1f(Q(p)).Q'(p)=\frac{1}{f(Q(p))}.

导数 Q′(p)Q'(p) 有时称为分位数密度或稀疏度函数。

在密度较小的地方,概率水平的微小变化可能对应于分位数的较大变化。这有助于解释许多分布中极端分位数的敏感性。上述导数公式不适用于原子处、分位数函数的跳跃处,或不满足所需光滑性与正值条件的地方。

若 ff 还可微,则

Q′′(p)=−f′(Q(p))f(Q(p))3.Q''(p) = -\frac{f'(Q(p))}{f(Q(p))^3}.

位置与尺度

对于 Y=a+bXY=a+bX,其中 b>0b>0,

QY(p)=a+bQX(p).Q_Y(p)=a+bQ_X(p).

因此,尺度系数为正的位置—尺度变换保持分位数的顺序。

更一般地,若 gg 连续且严格递增,

Qg(X)(p)=g(QX(p)).Q_{g(X)}(p)=g(Q_X(p)).

对于连续且严格递减的变换,概率顺序会反转。对于存在跳跃的分布,使用涉及 QX(1−p)Q_X(1-p) 的公式时,需要留意单侧极限与分位数约定。

期望与矩

分位数函数也包含了期望值的信息。若 XX 可积,

E⁡[X]=∫01Q(p) dp.\operatorname{E}[X]=\int_0^1Q(p)\,dp.

更一般地,对于可测函数 hh,只要期望有定义,就有

E⁡[h(X)]=∫01h(Q(p)) dp\operatorname{E}[h(X)] = \int_0^1 h(Q(p))\,dp

。这些表达式可以解释为勒贝格积分。

若二阶矩有限,

Var⁡(X)=∫01Q(p)2 dp−(∫01Q(p) dp)2.\operatorname{Var}(X) = \int_0^1Q(p)^2\,dp - \left(\int_0^1Q(p)\,dp\right)^2.

因此,分位数函数不仅确定各个百分位数,还确定整个分布及其所有存在的矩。

随机变量的生成

分位数函数是逆变换采样的基础。若

U∼Uniform⁡(0,1),U\sim\operatorname{Uniform}(0,1),

则

X=Q(U)X=Q(U)

的累积分布函数为 FF。事实上,

Pr⁡(Q(U)≤x)=Pr⁡(U≤F(x))=F(x).\Pr(Q(U)\le x) = \Pr(U\le F(x)) = F(x).

与通常的求逆不同,这一结果对离散分布和混合分布仍然成立。

例如,可以通过下式生成指数随机变量:

X=−ln⁡(1−U)λ.X=-\frac{\ln(1-U)}{\lambda}.

这种构造广泛应用于蒙特卡洛方法。其计算效率取决于分位数函数是否易于求值;对于某些特定分布,其他模拟方法可能更合适。

反向的结论需要额外的假设。若 FF 连续,则 F(X)F(X) 在 (0,1)(0,1) 上服从均匀分布,这一结果称为概率积分变换。对于不连续的累积分布函数,F(X)F(X) 通常不服从均匀分布。

经验分位数函数

给定观测值 x1,…,xnx_1,\ldots,x_n,经验分布函数为

Fn(x)=1n∑i=1n1{xi≤x}.F_n(x)=\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}_{\{x_i\le x\}}.

设排序后的观测值为

x(1)≤x(2)≤⋯≤x(n).x_{(1)}\le x_{(2)}\le\cdots\le x_{(n)}.

FnF_n 的广义逆为

Qn(p)=x(⌈np⌉),0<p<1.Q_n(p)=x_{(\lceil np\rceil)}, \qquad 0<p<1.

它是一个取值为样本观测值的阶梯函数。

统计软件也使用其他样本分位数定义,往往涉及在相邻的有序观测值之间进行插值。这些定义不一定是 FnF_n 的严格广义逆。因此,对于同一个小样本,不同软件包可能给出不同的四分位数或百分位数。

抽样不确定性

在独立同分布抽样下,若 FF 在 q=Q(p)q=Q(p) 附近可微,且具有满足 f(q)>0f(q)>0 的连续密度,则

n(Qn(p)−Q(p))→dN ⁣(0,p(1−p)f(Q(p))2).\sqrt n\bigl(Q_n(p)-Q(p)\bigr) \xrightarrow{d} N\!\left(0,\frac{p(1-p)}{f(Q(p))^2}\right).

相应的近似标准误为

p(1−p)n f(Q(p))2.\sqrt{\frac{p(1-p)}{n\,f(Q(p))^2}}.

这一结果针对的是样本量增大时保持固定的概率水平 pp。对于概率水平随样本量趋近于 00 或 11、因而越来越极端的分位数,它并不自动适用。在目标分位数处存在原子或密度为零的分布,也需要另作分析。

作为优化问题解的分位数

分位数可以通过损失函数来刻画。对于 0<p<10<p<1,定义检验损失(check loss),又称弹球损失(pinball loss),为

ρp(u)=u(p−1{u<0}).\rho_p(u)=u\bigl(p-\mathbf{1}_{\{u<0\}}\bigr).

等价地,

ρp(u)={pu,u≥0,(1−p)(−u),u<0.\rho_p(u)= \begin{cases} pu,&u\ge0,\\ (1-p)(-u),&u<0. \end{cases}

对于可积随机变量 XX,使

E⁡[ρp(X−a)]\operatorname{E}[\rho_p(X-a)]

在所有实数 aa 上达到最小值的,恰好是满足下式的那些值:

F(a−)≤p≤F(a).F(a-)\le p\le F(a).

通常采用的 Q(p)Q(p) 是其中最小的最小化解。

当 p=0.5p=0.5 时,这一损失与绝对误差成正比,这解释了为什么中位数能够使期望绝对偏差最小。其他概率水平则对预测偏高和预测偏低施加不同的惩罚。

这一刻画构成了分位数回归的基础;分位数回归建模的是条件分位数,而不是条件均值。

应用与计算

分位数函数支持多种分布分析:

  • 分布比较:分位数图用于比较两个分布的分位数。近似线性的关系可能表明二者存在位置—尺度关系。
  • **尾部概括:**高分位数或低分位数描述了以指定概率被超过的阈值。仅凭一个分位数,无法描述超出该阈值的观测值有多大。
  • **预测:**在概率覆盖率得到适当确认的情况下,可以用条件分位数定义预测区间。
  • **敏感性分析:**分位数的导数衡量数值阈值随累积概率变化的快慢。

没有闭式表达式时,可以通过求解下式来计算连续分布的分位数:

F(x)−p=0.F(x)-p=0.

如果能够找到合适的根所在区间,带区间保护的求根方法就较为可靠。牛顿法采用以下迭代公式:

xk+1=xk−F(xk)−pf(xk),x_{k+1} = x_k-\frac{F(x_k)-p}{f(x_k)},

但当密度很小或初始近似较差时,可能不稳定。

对于离散分布,求解 F(x)=pF(x)=p 通常并不合适,因为该方程可能无解。计算时应寻找累积概率至少为 pp 的最小值。

极端尾部计算需要特别注意浮点运算。当 pp 接近 11 时,从 11 中减去 pp 可能损失精度,累积分布函数值也可能被舍入为 11。因此,数值库可能提供逆生存函数,或者接受以对数形式表示的概率。这些接口能够保留原本在分位数求值开始之前就会丢失的信息。