在统计学 中,次序统计量 是将样本中的观测值从小到大排列后得到的各个数值。对于观测值 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n ,通常记为
X ( 1 ) ≤ X ( 2 ) ≤ ⋯ ≤ X ( n ) . X_{(1)}\le X_{(2)}\le\cdots\le X_{(n)}. X ( 1 ) ≤ X ( 2 ) ≤ ⋯ ≤ X ( n ) .
因此,X ( 1 ) X_{(1)} X ( 1 ) 是样本最小值,X ( n ) X_{(n)} X ( n ) 是样本最大值,而位于中间的次序统计量决定了样本中位数 及其他样本分位数 。在样本尚未观测之前,每个次序统计量都是具有自身分布的随机变量 。
排序将单个观测值的信息转化为有关相对位置、极值和样本离散程度的信息。次序统计量可用于构造无需指定分布形状的精确置信区间、降低极端观测值影响的稳健估计量,以及描述部件失效和稀有事件的模型。次序统计量理论将有限样本的组合分析与概率分布、渐近分析及计算中的选择算法联系起来。
定义、假设与排序所保留的信息 次序统计量以其在排序后样本中的位置为索引,而不是以观测值的原始标签为索引。如果观测样本为 8 , 3 , 11 , 3 , 6 8,3,11,3,6 8 , 3 , 11 , 3 , 6 ,排序后的值为
x ( 1 ) = 3 , x ( 2 ) = 3 , x ( 3 ) = 6 , x ( 4 ) = 8 , x ( 5 ) = 11. x_{(1)}=3,\quad x_{(2)}=3,\quad x_{(3)}=6,\quad x_{(4)}=8,\quad x_{(5)}=11. x ( 1 ) = 3 , x ( 2 ) = 3 , x ( 3 ) = 6 , x ( 4 ) = 8 , x ( 5 ) = 11.
重复值各自占据一个位置:排序不会去除重复值。观测值的秩记录它在排序中的位置,而次序统计量记录指定位置上的数值。这一区别对基于秩的方法很重要,因为这类分析可能只使用位置,而不使用原始的数值测量结果。
大多数经典公式假定 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n 独立同分布,简称 i.i.d.,具有共同的累积分布函数 F F F 。统计独立性 使我们能够运用二项式和多项式计数论证,而同分布则使互不相同的样本值的每一种标签分配都具有相同的概率。如果 F F F 连续,出现相等观测值的概率为零。如果分布是离散的,出现相等观测值的概率通常为正,但排序后的样本仍然有明确的定义。
排序会丢弃数值与其原始标签之间的对应关系。不过,对于独立同分布样本,排序后的向量仍然保留了计算任何对称样本统计量所需的全部信息;所谓对称样本统计量,是指在任意置换观测值后保持不变的统计量。样本均值 、样本方差 、极差和经验分布都是例子。在受控的独立同分布模型中,似然关于各观测值是对称的,因此完整的排序样本是模型参数的一个充分统计量 。排序样本不一定是最小充分统计量;许多模型都存在规模小得多的充分统计摘要。
在非独立同分布的情形下,带标签数据与排序数据之间的区别至关重要。对时间序列 排序会消除时间顺序,而对来自不同总体的观测值排序时,如果不保留其标签,就可能丢失组别信息。同样,对响应值排序并丢弃与之对应的预测变量,通常会破坏回归分析所需的信息。因此,经典的次序统计量恒等式针对的是特定的抽样结构,并不意味着排序在任何情况下都能保留全部统计信息。
次序统计量在单调变换下具有简单的性质。对于非递减函数 g g g ,变换后的值排序后满足
( g ( X ) ) ( k ) = g ( X ( k ) ) . (g(X))_{(k)}=g(X_{(k)}). ( g ( X ) ) ( k ) = g ( X ( k ) ) .
对于递减变换,次序则会反转:
( g ( X ) ) ( k ) = g ( X ( n − k + 1 ) ) . (g(X))_{(k)}=g(X_{(n-k+1)}). ( g ( X ) ) ( k ) = g ( X ( n − k + 1 ) ) .
借助这些恒等式,可以将在便于处理的尺度(如均匀分布尺度)上推导出的结果推广到许多其他分布。
单个次序统计量的精确分布 通过计算不超过给定阈值的观测值个数,可以推导出 X ( k ) X_{(k)} X ( k ) 的分布。定义
N x = ∑ i = 1 n 1 { X i ≤ x } , N_x=\sum_{i=1}^n \mathbf{1}_{\{X_i\le x\}}, N x = i = 1 ∑ n 1 { X i ≤ x } ,
其中 1 \mathbf{1} 1 为示性函数 。事件 X ( k ) ≤ x X_{(k)}\le x X ( k ) ≤ x 发生,当且仅当 N x ≥ k N_x\ge k N x ≥ k 。在独立同分布抽样下,N x N_x N x 服从参数为 n n n 和 F ( x ) F(x) F ( x ) 的二项分布 。因此,
Pr ( X ( k ) ≤ x ) = ∑ j = k n ( n j ) F ( x ) j [ 1 − F ( x ) ] n − j . \Pr(X_{(k)}\le x) = \sum_{j=k}^{n}\binom{n}{j} F(x)^j[1-F(x)]^{n-j}. Pr ( X ( k ) ≤ x ) = j = k ∑ n ( j n ) F ( x ) j [ 1 − F ( x ) ] n − j .
这一恒等式对连续分布、离散分布和混合分布均成立。它是有限样本情形下的基本公式,许多其他结果都可由此推导出来。
若 F F F 绝对连续,且具有概率密度函数 f f f ,则求导可得
f X ( k ) ( x ) = n ! ( k − 1 ) ! ( n − k ) ! F ( x ) k − 1 [ 1 − F ( x ) ] n − k f ( x ) . f_{X_{(k)}}(x) = \frac{n!}{(k-1)!(n-k)!} F(x)^{k-1}[1-F(x)]^{n-k}f(x). f X ( k ) ( x ) = ( k − 1 )! ( n − k )! n ! F ( x ) k − 1 [ 1 − F ( x ) ] n − k f ( x ) .
各个因子都有直观的计数解释。在其余 n − 1 n-1 n − 1 个观测值中,必须有 k − 1 k-1 k − 1 个小于某个接近 x x x 的值,另有 n − k n-k n − k 个大于该值。阶乘系数表示将各观测值分配到这些位置的可能方式数。这里,绝对连续这一条件很重要:连续的分布函数未必具有适用于此公式的密度函数。
对于最小值和最大值,分布函数可简化为
Pr ( X ( 1 ) ≤ x ) = 1 − [ 1 − F ( x ) ] n , Pr ( X ( n ) ≤ x ) = F ( x ) n . \Pr(X_{(1)}\le x)=1-[1-F(x)]^n, \qquad \Pr(X_{(n)}\le x)=F(x)^n. Pr ( X ( 1 ) ≤ x ) = 1 − [ 1 − F ( x ) ] n , Pr ( X ( n ) ≤ x ) = F ( x ) n .
例如,若每个观测值超过阈值 t t t 的概率为 0.01 0.01 0.01 ,则样本最大值超过 t t t 的概率为 1 − 0.99 n 1-0.99^n 1 − 0.9 9 n 。当 n = 100 n=100 n = 100 时,这一概率约为 0.634 0.634 0.634 。因此,对单个观测值而言罕见的数值,在规模适中的样本中作为最大值出现,却可能相当常见。
对于含有原子(即单点具有正概率)的分布,计算某个特定值处的概率质量时,必须考虑等于该值的观测值。记 F ( x − ) = Pr ( X < x ) F(x^-)=\Pr(X<x) F ( x − ) = Pr ( X < x ) ,则
Pr ( X ( k ) = x ) = Pr { Bin ( n , F ( x ) ) ≥ k } − Pr { Bin ( n , F ( x − ) ) ≥ k } . \Pr(X_{(k)}=x) = \Pr\{\operatorname{Bin}(n,F(x))\ge k\} - \Pr\{\operatorname{Bin}(n,F(x^-))\ge k\}. Pr ( X ( k ) = x ) = Pr { Bin ( n , F ( x )) ≥ k } − Pr { Bin ( n , F ( x − )) ≥ k } .
一般而言,不能通过将概率质量函数代入连续情形的密度公式来得到这一结果。
当所需积分存在时,也可由边缘分布求得各阶矩。例如,在绝对连续的情形下,
E [ X ( k ) ] = ∫ − ∞ ∞ x f X ( k ) ( x ) d x \mathbb{E}[X_{(k)}] = \int_{-\infty}^{\infty}x f_{X_{(k)}}(x)\,dx E [ X ( k ) ] = ∫ − ∞ ∞ x f X ( k ) ( x ) d x
必须检验矩是否存在,而不能想当然地认为其存在:重尾总体分布可能使次序统计量的期望值 或方差为无穷大,尤其是靠近两端的次序统计量。
有序样本的联合分布与内部相依性 尽管原始观测值可能相互独立,其次序统计量通常却是相依的。知道最小值,就能确定其余所有有序观测值都不小于它;知道某个居中的次序统计量,则会对样本两侧的取值形成约束。对于来自绝对连续分布的独立同分布样本,全体次序统计量的联合概率分布 具有如下密度:
f X ( 1 ) , … , X ( n ) ( x 1 , … , x n ) = n ! ∏ i = 1 n f ( x i ) , x 1 < ⋯ < x n , f_{X_{(1)},\ldots,X_{(n)}}(x_1,\ldots,x_n) = n!\prod_{i=1}^{n}f(x_i), \qquad x_1<\cdots<x_n, f X ( 1 ) , … , X ( n ) ( x 1 , … , x n ) = n ! i = 1 ∏ n f ( x i ) , x 1 < ⋯ < x n ,
在其余区域密度为零。因子 n ! n! n ! 对应于一组互不相同的观测值所有可能的标号方式。有序区域仅占原始样本空间各个排列区域中的一个。
对于两个位置 1 ≤ r < s ≤ n 1\le r<s\le n 1 ≤ r < s ≤ n ,联合密度为
f X ( r ) , X ( s ) ( x , y ) = n ! ( r − 1 ) ! ( s − r − 1 ) ! ( n − s ) ! × F ( x ) r − 1 [ F ( y ) − F ( x ) ] s − r − 1 × [ 1 − F ( y ) ] n − s f ( x ) f ( y ) , x < y . \begin{aligned} f_{X_{(r)},X_{(s)}}(x,y) ={}& \frac{n!}{(r-1)!(s-r-1)!(n-s)!}\\ &\times F(x)^{r-1} [F(y)-F(x)]^{s-r-1}\\ &\times[1-F(y)]^{n-s}f(x)f(y), \qquad x<y. \end{aligned} f X ( r ) , X ( s ) ( x , y ) = ( r − 1 )! ( s − r − 1 )! ( n − s )! n ! × F ( x ) r − 1 [ F ( y ) − F ( x ) ] s − r − 1 × [ 1 − F ( y ) ] n − s f ( x ) f ( y ) , x < y .
这里将样本中的观测值分为低于 x x x 、介于 x x x 与 y y y 之间以及高于 y y y 的三组,另有两个观测值分别位于两个边界附近。更一般地,将实数轴划分为若干区间,并运用多项计数方法,就能得到选定的若干次序统计量的联合密度。
样本极差 R = X ( n ) − X ( 1 ) R=X_{(n)}-X_{(1)} R = X ( n ) − X ( 1 ) 说明了为什么需要联合分布。仅凭最小值和最大值各自的边缘分布,无法确定极差的分布。当 n ≥ 2 n\ge2 n ≥ 2 时,其密度为
f R ( r ) = n ( n − 1 ) ∫ − ∞ ∞ f ( x ) f ( x + r ) [ F ( x + r ) − F ( x ) ] n − 2 d x , r > 0. f_R(r) = n(n-1)\int_{-\infty}^{\infty} f(x)f(x+r) [F(x+r)-F(x)]^{n-2}\,dx, \qquad r>0. f R ( r ) = n ( n − 1 ) ∫ − ∞ ∞ f ( x ) f ( x + r ) [ F ( x + r ) − F ( x ) ] n − 2 d x , r > 0.
被积函数描述的是这样一类样本:最小值位于 x x x 附近,最大值位于 x + r x+r x + r 附近,其余所有观测值均落在该区间内。统计质量控制中基于极差的方法,正是以这种联合分布特征为基础的。
条件分布可以用截断分布作出直观而实用的解释。在连续分布的正则条件分布意义下,给定 X ( k ) = x X_{(k)}=x X ( k ) = x ,较小的 k − 1 k-1 k − 1 个有序观测值,其分布等同于从原总体分布截断后仅保留小于 x x x 的部分中抽取样本,再排序所得的分布。同样,较大的 n − k n-k n − k 个观测值则对应于仅保留大于 x x x 的部分的截断分布。给定这一边界值后,下方和上方两组有序观测值相互独立。这一性质可用于递归计算和模拟。
独立同分布假设具有实质性意义。对于相互独立但分布函数各不相同、分别为 F i F_i F i 的观测值,有
Pr ( X ( n ) ≤ x ) = ∏ i = 1 n F i ( x ) , \Pr(X_{(n)}\le x)=\prod_{i=1}^n F_i(x), Pr ( X ( n ) ≤ x ) = i = 1 ∏ n F i ( x ) ,
但低于 x x x 的观测值个数一般服从泊松二项分布,而非二项分布。若观测值相依,连这些乘积公式也不再成立。因此,对于涉及聚类观测、空间测量或序列极值的应用,建模时不能只考虑共同的边缘分布。
均匀变换、贝塔分布与间距 一个关键的简化工具是概率积分变换 。如果 F F F 连续,且 X X X 的分布函数为 F F F ,那么 U = F ( X ) U=F(X) U = F ( X ) 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上服从均匀分布。对独立同分布样本中的每个观测值分别应用这一变换,便有
U ( k ) = F ( X ( k ) ) . U_{(k)}=F(X_{(k)}). U ( k ) = F ( X ( k ) ) .
反过来,若
Q ( u ) = inf { x : F ( x ) ≥ u } Q(u)=\inf\{x:F(x)\ge u\} Q ( u ) = inf { x : F ( x ) ≥ u }
为分位数函数,那么对相互独立的均匀随机变量应用 Q Q Q ,即可生成来自分布 F F F 的样本;这一方法也适用于含有点质量的分布。因此,均匀分布模型为分布计算和模拟提供了共同的基础。
对于来自 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上的均匀分布 的样本,
U ( k ) ∼ Beta ( k , n + 1 − k ) , U_{(k)}\sim \operatorname{Beta}(k,n+1-k), U ( k ) ∼ Beta ( k , n + 1 − k ) ,
其中 Beta \operatorname{Beta} Beta 表示贝塔分布 。因此,
E [ U ( k ) ] = k n + 1 , Var ( U ( k ) ) = k ( n + 1 − k ) ( n + 1 ) 2 ( n + 2 ) . \mathbb{E}[U_{(k)}]=\frac{k}{n+1}, \qquad \operatorname{Var}(U_{(k)}) = \frac{k(n+1-k)}{(n+1)^2(n+2)}. E [ U ( k ) ] = n + 1 k , Var ( U ( k ) ) = ( n + 1 ) 2 ( n + 2 ) k ( n + 1 − k ) .
当 r ≤ s r\le s r ≤ s 时,
Cov ( U ( r ) , U ( s ) ) = r ( n + 1 − s ) ( n + 1 ) 2 ( n + 2 ) . \operatorname{Cov}(U_{(r)},U_{(s)}) = \frac{r(n+1-s)}{(n+1)^2(n+2)}. Cov ( U ( r ) , U ( s ) ) = ( n + 1 ) 2 ( n + 2 ) r ( n + 1 − s ) .
这一正的协方差 量化了各次序统计量同向变动的趋势。期望位置 k / ( n + 1 ) k/(n+1) k / ( n + 1 ) 也为概率图中一组广泛使用的绘图位置提供了依据。
令 U ( 0 ) = 0 U_{(0)}=0 U ( 0 ) = 0 、U ( n + 1 ) = 1 U_{(n+1)}=1 U ( n + 1 ) = 1 ,并定义间距
D i = U ( i ) − U ( i − 1 ) , i = 1 , … , n + 1. D_i=U_{(i)}-U_{(i-1)},\qquad i=1,\ldots,n+1. D i = U ( i ) − U ( i − 1 ) , i = 1 , … , n + 1.
这些非负间距之和为一,其联合分布是所有参数均为一的狄利克雷分布 。在所有可能的间距向量构成的单纯形上,其密度为常数。每个间距的期望均为 1 / ( n + 1 ) 1/(n+1) 1/ ( n + 1 ) ,但这些间距并不相互独立:某个间距异常大时,留给其余间距的总长度就会减小。
连续若干个间距之和服从贝塔分布。特别地,
U ( s ) − U ( r ) ∼ Beta ( s − r , n + 1 − s + r ) . U_{(s)}-U_{(r)} \sim \operatorname{Beta}(s-r,n+1-s+r). U ( s ) − U ( r ) ∼ Beta ( s − r , n + 1 − s + r ) .
因此,当 n ≥ 2 n\ge2 n ≥ 2 时,均匀分布样本的极差服从 Beta ( n − 1 , 2 ) \operatorname{Beta}(n-1,2) Beta ( n − 1 , 2 ) 分布。这类恒等关系可将随机区间问题转化为标准的概率计算。
间距还有一种指数随机变量表示。若 E 1 , … , E n + 1 E_1,\ldots,E_{n+1} E 1 , … , E n + 1 为相互独立、均值为一的指数随机变量,且 S = ∑ i E i S=\sum_i E_i S = ∑ i E i ,则
( D 1 , … , D n + 1 ) = d ( E 1 S , … , E n + 1 S ) . (D_1,\ldots,D_{n+1}) \overset{d}{=} \left(\frac{E_1}{S},\ldots,\frac{E_{n+1}}{S}\right). ( D 1 , … , D n + 1 ) = d ( S E 1 , … , S E n + 1 ) .
对这些间距求累积和,无须排序即可生成均匀分布的次序统计量。这一表示可用于精确模拟、基于间距的拟合优度检验方法以及渐近论证。它所描述的是均匀分布下的间距;原始测量尺度上的间距通常会因非线性的分位数变换而发生畸变。
样本分位数及其大样本性质 经验分布函数 为
F n ( x ) = 1 n ∑ i = 1 n 1 { X i ≤ x } . F_n(x)=\frac1n\sum_{i=1}^n\mathbf{1}_{\{X_i\le x\}}. F n ( x ) = n 1 i = 1 ∑ n 1 { X i ≤ x } .
其广义逆定义了样本分位数。按照经验分布函数广义逆的约定,
q ^ p = X ( ⌈ n p ⌉ ) , 0 < p < 1. \widehat q_p=X_{(\lceil np\rceil)},\qquad 0<p<1. q p = X (⌈ n p ⌉) , 0 < p < 1.
其他约定则在相邻次序统计量之间进行插值。当样本量为偶数时,通常的样本中位数取中间两个观测值的平均值,而经验分布函数的广义逆在 p = 1 / 2 p=1/2 p = 1/2 处取这两个观测值中较小的一个。因此,需要数值结果完全一致时,必须明确所采用的分位数定义。
不同插值约定所指定的绘图位置及其端点处理方式各不相同。它们在大样本下通常十分接近,但在小样本或极端百分位数处可能存在明显差异。没有哪一种插值规则能对所有总体分布和用途都达到最优。精确的贝塔分布结论可直接用于单个经变换的次序统计量,却不能自动推广到相邻值的插值结果。同样,一般而言,
E [ X ( k ) ] ≠ Q ( k n + 1 ) \mathbb{E}[X_{(k)}] \ne Q\!\left(\frac{k}{n+1}\right) E [ X ( k ) ] = Q ( n + 1 k )
因为先应用非线性分位数函数再取期望,与先取期望再应用该函数,结果并不相同。
对于固定的、位于区间内部的概率 p p p ,令 q p = Q ( p ) q_p=Q(p) q p = Q ( p ) ,并假设 F F F 在 q p q_p q p 处具有正且连续的密度。适当定义的样本分位数是 q p q_p q p 的相合估计量 ,并且满足
n ( q ^ p − q p ) → d N ( 0 , p ( 1 − p ) f ( q p ) 2 ) . \sqrt n\,(\widehat q_p-q_p) \xrightarrow{d} N\!\left(0,\frac{p(1-p)}{f(q_p)^2}\right). n ( q p − q p ) d N ( 0 , f ( q p ) 2 p ( 1 − p ) ) .
分子反映了低于总体分位数的样本比例所具有的二项分布不确定性。分母则将概率尺度上的不确定性转换为测量尺度上的不确定性:在密度较低的地方,较小的概率误差也会对应较大的数值偏移。
在标准正则条件下,以下一阶表示解释了这一极限:
q ^ p − q p = p − F n ( q p ) f ( q p ) + o p ( n − 1 / 2 ) , \widehat q_p-q_p = \frac{p-F_n(q_p)}{f(q_p)} +o_p(n^{-1/2}), q p − q p = f ( q p ) p − F n ( q p ) + o p ( n − 1/2 ) ,
中心极限定理 可用于示性函数的平均值 F n ( q p ) F_n(q_p) F n ( q p ) 。对于两个固定概率 p p p 和 q q q ,在相关矩收敛条件成立时,极限协方差为
lim n → ∞ n Cov ( q ^ p , q ^ q ) = min ( p , q ) − p q f ( q p ) f ( q q ) , \lim_{n\to\infty} n\,\operatorname{Cov}(\widehat q_p,\widehat q_q) = \frac{\min(p,q)-pq} {f(q_p)f(q_q)}, n → ∞ lim n Cov ( q p , q q ) = f ( q p ) f ( q q ) min ( p , q ) − pq ,
相应的联合正态极限采用由此给出的协方差矩阵。
对于标准差为 σ \sigma σ 的正态总体,样本中位数的渐近方差为 π σ 2 / ( 2 n ) \pi\sigma^2/(2n) π σ 2 / ( 2 n ) ,而样本均值的方差为 σ 2 / n \sigma^2/n σ 2 / n 。这一效率比较取决于具体模型。在概率质量集中于单点的位置、分布函数的平坦区段或端点处,常规的分位数渐近正态理论可能不再适用,或需要作出修正。
无分布置信区间与容忍区间 次序统计量无需指定参数分布族,就能对总体分位数进行精确的有限样本推断。设 F F F 连续,且 q p q_p q p 满足 F ( q p ) = p F(q_p)=p F ( q p ) = p 。样本中小于 q p q_p q p 的观测值个数服从分布 Bin ( n , p ) \operatorname{Bin}(n,p) Bin ( n , p ) 。对于 1 ≤ r < s ≤ n 1\le r<s\le n 1 ≤ r < s ≤ n ,有
Pr { X ( r ) ≤ q p ≤ X ( s ) } = ∑ j = r s − 1 ( n j ) p j ( 1 − p ) n − j . \Pr\{X_{(r)}\le q_p\le X_{(s)}\} = \sum_{j=r}^{s-1}\binom{n}{j}p^j(1-p)^{n-j}. Pr { X ( r ) ≤ q p ≤ X ( s ) } = j = r ∑ s − 1 ( j n ) p j ( 1 − p ) n − j .
覆盖概率仅取决于 n , p , r , s n,p,r,s n , p , r , s ,而不取决于 F F F 的形状、位置或尺度。这是非参数统计 的一个典型例子。
以中位数区间为例,取 n = 20 n=20 n = 20 ,并使用 [ X ( 6 ) , X ( 15 ) ] [X_{(6)},X_{(15)}] [ X ( 6 ) , X ( 15 ) ] 。其精确覆盖概率为
1 − 2 ∑ j = 0 5 ( 20 j ) 2 − 20 ≈ 0.9586. 1-2\sum_{j=0}^{5}\binom{20}{j}2^{-20} \approx0.9586. 1 − 2 j = 0 ∑ 5 ( j 20 ) 2 − 20 ≈ 0.9586.
因此,在从连续分布中独立同分布抽样的条件下,该区间的覆盖概率约为 95.86 % 95.86\% 95.86% 。由于二项分布是离散分布,采用固定的非随机化端点时,通常无法精确达到诸如 95 % 95\% 95% 这样的目标水平。常规做法是选择覆盖概率不低于名义水平的区间。
分位数的置信区间 必须与容忍区间区分开来。分位数区间以总体中的某个特定数值为估计目标;容忍区间则旨在以给定的置信水平,包含总体中至少某个指定比例的取值。对于连续的 F F F ,两个样本次序统计量之间所包含的总体概率为
C = F ( X ( s ) ) − F ( X ( r ) ) , C=F(X_{(s)})-F(X_{(r)}), C = F ( X ( s ) ) − F ( X ( r ) ) ,
且
C ∼ Beta ( s − r , n + 1 − s + r ) . C\sim\operatorname{Beta}(s-r,n+1-s+r). C ∼ Beta ( s − r , n + 1 − s + r ) .
因此,该区间包含至少比例为 p p p 的总体取值的概率,是一个贝塔分布的上尾概率。
对于样本最小值和最大值,有
Pr { F ( X ( n ) ) − F ( X ( 1 ) ) ≥ p } = 1 − n p n − 1 + ( n − 1 ) p n . \Pr\{F(X_{(n)})-F(X_{(1)})\ge p\} = 1-np^{n-1}+(n-1)p^n. Pr { F ( X ( n ) ) − F ( X ( 1 ) ) ≥ p } = 1 − n p n − 1 + ( n − 1 ) p n .
这一恒等式可用于确定作出无分布双侧容忍保证所需的样本量。单侧情形则更简单:
Pr { F ( X ( n ) ) ≥ p } = 1 − p n . \Pr\{F(X_{(n)})\ge p\}=1-p^n. Pr { F ( X ( n ) ) ≥ p } = 1 − p n .
例如,由 59 59 59 个独立观测值构成的样本,其最大值超过总体第95百分位数的概率为 1 − 0.95 59 1-0.95^{59} 1 − 0.9 5 59 ,略大于 0.95 0.95 0.95 。
次序统计量也是无分布预测的基础。对于来自同一连续总体的一个未来观测值 X n + 1 X_{n+1} X n + 1 ,有
Pr { X ( r ) < X n + 1 < X ( s ) } = s − r n + 1 . \Pr\{X_{(r)}<X_{n+1}<X_{(s)}\} =\frac{s-r}{n+1}. Pr { X ( r ) < X n + 1 < X ( s ) } = n + 1 s − r .
这是因为,未来观测值在全部 n + 1 n+1 n + 1 个数值中的秩服从均匀分布。这样的预测区间 针对的是未来的随机值,而不是未知的固定分位数。出现相同观测值、观测值之间存在依赖关系,或生成数据的总体发生变化时,都需要另行处理,因为上述简单的秩论证不再能原样适用。
极值与尾部行为 最小值和最大值的渐近性质与中心次序统计量不同。样本中位数估计的是分布内部某个固定位置的特征,而随着样本量增大,最大值通常会进一步向上尾移动。其尺度和极限分布由尾部行为决定。极值理论 研究如下标准化形式:
X ( n ) − b n a n , a n > 0 , \frac{X_{(n)}-b_n}{a_n}, \qquad a_n>0, a n X ( n ) − b n , a n > 0 ,
它可以收敛到一个非退化分布。在相应的吸引域条件下,可能的极限均属于广义极值分布族。
该分布族的一种标准形式为
G ξ ( z ) = exp [ − ( 1 + ξ z ) − 1 / ξ ] , 1 + ξ z > 0. G_\xi(z) = \exp\!\left[-(1+\xi z)^{-1/\xi}\right], \qquad 1+\xi z>0. G ξ ( z ) = exp [ − ( 1 + ξ z ) − 1/ ξ ] , 1 + ξ z > 0.
当 ξ = 0 \xi=0 ξ = 0 时,按连续极限解释可得
G 0 ( z ) = exp ( − e − z ) . G_0(z)=\exp(-e^{-z}). G 0 ( z ) = exp ( − e − z ) .
形状参数 ξ \xi ξ 为正时对应重上尾,为负时对应有限的上端点,为零时则对应冈贝尔类。这一分类针对的是经适当标准化的最大值,而非普通单个观测值的分布。
对于服从速率参数为 λ \lambda λ 的指数分布的独立观测值,当阈值落在分布的支撑集内时,对固定的 z z z ,有
Pr { λ X ( n ) − log n ≤ z } = ( 1 − e − z n ) n ⟶ exp ( − e − z ) , \Pr\{\lambda X_{(n)}-\log n\le z\} = \left(1-\frac{e^{-z}}{n}\right)^n \longrightarrow \exp(-e^{-z}), Pr { λ X ( n ) − log n ≤ z } = ( 1 − n e − z ) n ⟶ exp ( − e − z ) ,
因此,最大值的增长主项为 ( log n ) / λ (\log n)/\lambda ( log n ) / λ 。对于分布函数为
F ( x ) = 1 − x − α , x ≥ 1 , F(x)=1-x^{-\alpha},\qquad x\ge1, F ( x ) = 1 − x − α , x ≥ 1 ,
的帕累托分布,适当的增长尺度为 n 1 / α n^{1/\alpha} n 1/ α ,且
Pr { X ( n ) / n 1 / α ≤ x } ⟶ exp ( − x − α ) , x > 0. \Pr\{X_{(n)}/n^{1/\alpha}\le x\} \longrightarrow \exp(-x^{-\alpha}),\qquad x>0. Pr { X ( n ) / n 1/ α ≤ x } ⟶ exp ( − x − α ) , x > 0.
这些例子说明,最大值不存在通用的尺度变换。
对于服从 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上均匀分布的观测值,最大值则趋近于一个固定端点:
n ( 1 − X ( n ) ) → d Exp ( 1 ) . n(1-X_{(n)})\xrightarrow{d}\operatorname{Exp}(1). n ( 1 − X ( n ) ) d Exp ( 1 ) .
它到端点的距离为 1 / n 1/n 1/ n 阶,不同于满足常规条件的中心分位数所具有的 1 / n 1/\sqrt n 1/ n 阶波动。标准正态样本的最大值,其增长主项为 2 log n \sqrt{2\log n} 2 log n 阶;要得到非退化的极限分布,则需要更精确的中心化和尺度变换。
高端次序统计量所提供的信息不局限于单个最大值。尾指数估计量可以利用若干较大观测值与一个高位次阈值之比的对数。这里一个重要区别是固定极端位次与中间位次的区别:对于上端的中间位次,可以使用 k n k_n k n 个超阈值观测值,其中 k n → ∞ k_n\to\infty k n → ∞ ,但 k n / n → 0 k_n/n\to0 k n / n → 0 。这类方法需要权衡两方面:尾部观测值过少所带来的变异性,以及将尾部近似过度延伸到分布内部所引入的偏差。序列依赖性和聚集现象还会进一步影响极值的累积方式。
稳健估计与有序观测值的线性组合 许多估计量都可以表示为次序统计量的加权和:
T n = ∑ i = 1 n a i , n X ( i ) . T_n=\sum_{i=1}^n a_{i,n}X_{(i)}. T n = i = 1 ∑ n a i , n X ( i ) .
这类统计量称为 L 统计量 。样本均值对各观测值赋予相同的权重,中位数将权重集中在样本的中部,而截尾均值则对指定尾部的观测值赋予零权重。这一框架明确揭示了样本中的哪些部分会影响估计,并为方差的精确计算和渐近计算提供了途径。
对于满足 0 ≤ k < n / 2 0\le k<n/2 0 ≤ k < n /2 的整数 k k k ,对称截尾均值为
X ‾ t r i m = 1 n − 2 k ∑ i = k + 1 n − k X ( i ) . \overline X_{\mathrm{trim}} = \frac{1}{n-2k}\sum_{i=k+1}^{n-k}X_{(i)}. X trim = n − 2 k 1 i = k + 1 ∑ n − k X ( i ) .
它先剔除最小的 k k k 个和最大的 k k k 个观测值,再计算平均值。温莎化均值则将下尾的观测值替换为 X ( k + 1 ) X_{(k+1)} X ( k + 1 ) ,将上尾的观测值替换为 X ( n − k ) X_{(n-k)} X ( n − k ) 。截尾改变了参与计算的观测值;温莎化则保留名义样本量,但限制尾部数值的贡献。
这些构造在稳健统计 中占据核心地位。单个任意大的观测值就能使样本均值任意增大。对于样本中位数,仅改变一小部分观测值并不能使其无限增大或减小;其渐近替换崩溃点为 1 / 2 1/2 1/2 。截尾均值的抗干扰能力与其截尾比例有关。不过,抵抗崩溃的能力并不等同于在所有模型下都具有较低的均方误差 。当轻尾参数模型完全符合实际情况时,对污染的强力防护可能会降低效率。
对于在其 p p p 分位数处具有正密度的分布,分位数的影响函数为
IF ( x ; q p , F ) = p − 1 { x ≤ q p } f ( q p ) . \operatorname{IF}(x;q_p,F) = \frac{p-\mathbf{1}_{\{x\le q_p\}}}{f(q_p)}. IF ( x ; q p , F ) = f ( q p ) p − 1 { x ≤ q p } .
作为污染值 x x x 的函数,它是有界的,这与均值的无界影响函数 x − μ x-\mu x − μ 形成对比。不过,当 f ( q p ) f(q_p) f ( q p ) 较小时,其绝对值仍会增大。因此,对极端观测值的稳健性并不能消除目标值附近概率质量稀少所带来的不确定性。
基于次序的离散程度度量包括四分位距
IQR = q ^ 0.75 − q ^ 0.25 \operatorname{IQR}=\widehat q_{0.75}-\widehat q_{0.25} IQR = q 0.75 − q 0.25
以及中位数绝对偏差
MAD = median i ∣ X i − median j X j ∣ . \operatorname{MAD} = \operatorname{median}_i \left|X_i-\operatorname{median}_j X_j\right|. MAD = median i ∣ X i − median j X j ∣ .
对于正态总体,将未经缩放的 MAD 乘以约 1.4826 1.4826 1.4826 ,即可得到总体标准差的相合估计量。这个乘数取决于所采用的模型。截尾均值也需要明确其估计目标:在分布不对称时,总体截尾均值通常不同于普通的总体均值,因此稳健化不仅改变了观测值的权重,也可能改变估计的目标。
可靠性、失效时间与删失观测 在可靠性理论中,次序统计量用于描述部件依次失效的过程。如果 T 1 , … , T n T_1,\ldots,T_n T 1 , … , T n 是各部件的寿命,那么 T ( k ) T_{(k)} T ( k ) 就是第 k k k 次失效发生的时间。串联系统在第一个部件失效时即告失效,其寿命为 T ( 1 ) T_{(1)} T ( 1 ) 。并联系统则持续运行,直到所有部件都失效,其寿命为 T ( n ) T_{(n)} T ( n ) ;这里采用了一个理想化假设,即任何尚未失效的部件都能维持系统运行。
若各部件的寿命独立同分布,生存函数为 S ( t ) = 1 − F ( t ) S(t)=1-F(t) S ( t ) = 1 − F ( t ) ,则在第 k k k 次失效时才停止运行的系统,其生存概率为
Pr ( T ( k ) > t ) = ∑ j = 0 k − 1 ( n j ) F ( t ) j S ( t ) n − j . \Pr(T_{(k)}>t) = \sum_{j=0}^{k-1}\binom{n}{j} F(t)^jS(t)^{n-j}. Pr ( T ( k ) > t ) = j = 0 ∑ k − 1 ( j n ) F ( t ) j S ( t ) n − j .
在时刻 t t t ,失效的部件数必须少于 k k k 。等价地,至少要有 n − k + 1 n-k+1 n − k + 1 个部件仍在运行。对于一个需要其 n n n 个部件中至少 m m m 个正常工作才能运行的系统,系统失效发生在 T ( n − m + 1 ) T_{(n-m+1)} T ( n − m + 1 ) ,前提是各部件的工作状态不受其他部件失效的影响。
当寿命服从指数分布时,相邻失效之间的时间间隔具有特别简单的性质。若各部件的寿命是相互独立、速率参数为 λ \lambda λ 的指数随机变量,定义 T ( 0 ) = 0 T_{(0)}=0 T ( 0 ) = 0 ,并令
Δ k = T ( k ) − T ( k − 1 ) . \Delta_k=T_{(k)}-T_{(k-1)}. Δ k = T ( k ) − T ( k − 1 ) .
则各 Δ k \Delta_k Δ k 相互独立,且
Δ k ∼ Exp ( ( n − k + 1 ) λ ) . \Delta_k\sim\operatorname{Exp}((n-k+1)\lambda). Δ k ∼ Exp (( n − k + 1 ) λ ) .
最初有 n n n 个部件面临失效风险;第一次失效后,剩下 n − 1 n-1 n − 1 个。指数分布的无记忆性使得每个阶段都仍可使用指数模型。特别地,
E [ T ( k ) ] = 1 λ ∑ j = n − k + 1 n 1 j . \mathbb{E}[T_{(k)}] = \frac1\lambda\sum_{j=n-k+1}^{n}\frac1j. E [ T ( k ) ] = λ 1 j = n − k + 1 ∑ n j 1 .
次序统计量也用于组织删失数据 ,这类数据中有些寿命只能被部分观测到。在Ⅱ型删失下,试验在第 r r r 次失效后停止,对于剩余的 n − r n-r n − r 个部件,只知道它们的寿命超过 t r t_r t r 。当各部件寿命为连续型且独立同分布时,前 r r r 个按顺序排列的失效时间的似然函数为
L ( θ ) = n ! ( n − r ) ! [ ∏ i = 1 r f θ ( t i ) ] [ 1 − F θ ( t r ) ] n − r , t 1 < ⋯ < t r . L(\theta) = \frac{n!}{(n-r)!} \left[\prod_{i=1}^{r}f_\theta(t_i)\right] [1-F_\theta(t_r)]^{n-r}, \qquad t_1<\cdots<t_r. L ( θ ) = ( n − r )! n ! [ i = 1 ∏ r f θ ( t i ) ] [ 1 − F θ ( t r ) ] n − r , t 1 < ⋯ < t r .
尚未失效的部件对似然函数的贡献是生存概率,而不是概率密度因子。
在生存分析 中,失效观测通常伴随着因个体而异的删失时间。1958年提出的 Kaplan–Meier 估计量,利用每次事件发生前一刻的风险集人数,估计按时间先后排列的各事件时刻的条件生存概率,再将这些概率相乘。对该估计量的标准解释依赖于适当的独立删失假设。同样,部件寿命之间的相关性、共因失效以及负载重新分配,也都需要在独立同分布情形的基本次序统计量公式之外加以拓展。
计算、选择算法与数值求值 计算全部次序统计量等价于排序。标准的基于比较的排序算法,其最坏情况或期望情况下的比较次数为 O ( n log n ) O(n\log n) O ( n log n ) ,具体取决于所用算法;这里使用的是大O记号 。如果只需要一个分位数或少数几个秩位上的值,就没有必要进行完整排序。选择算法 通过对数据进行划分,找到指定秩位上的值,从而避免对不影响答案的数值进行完整排序。
C. A. R. 霍尔于 1961 年提出的快速选择算法(Quickselect)反复选取枢轴,并保留包含目标秩位的分区。采用适当的随机枢轴选择方式时,其期望运行时间为 O ( n ) O(n) O ( n ) ,但基本版本在不利情况下可能需要 O ( n 2 ) O(n^2) O ( n 2 ) 时间。曼努埃尔·布卢姆、罗伯特·弗洛伊德、沃恩·普拉特、罗纳德·里维斯特和罗伯特·塔扬于 1973 年发表的确定性选择算法,通过一种通常称为“中位数的中位数”的枢轴选取方法,保证最坏情况下的运行时间为 O ( n ) O(n) O ( n ) 。实际实现往往将快速划分与应对不利情况的保护机制结合起来。
当所需分位数的数量较少且固定时,重复选择或协同选择可能比排序更合适。如果需要从数据流中找出最大的 k k k 个值,可以用堆来维护这些值,所需时间为 O ( n log k ) O(n\log k) O ( n log k ) ,存储空间为 O ( k ) O(k) O ( k ) 。对于不加限制的数据流,精确计算中部的分位数通常需要保存随输入规模增长的信息。近似的流式摘要则在存储开销与秩误差保证之间进行权衡。必须区分秩误差保证与以数据本身单位衡量的误差:在数据稀疏的尾部,较小的秩差可能对应很大的数值差。
对次序统计量的分布进行数值求值时,需要特别注意极端概率。直接对二项式项求和可能导致下溢、上溢,或损失相对精度。对于连续的 F F F ,边缘分布可写为
Pr ( X ( k ) ≤ x ) = I F ( x ) ( k , n + 1 − k ) , \Pr(X_{(k)}\le x) = I_{F(x)}(k,n+1-k), Pr ( X ( k ) ≤ x ) = I F ( x ) ( k , n + 1 − k ) ,
其中,I I I 为正则化不完全贝塔函数。与直接使用阶乘公式相比,设计良好的二项分布尾概率和不完全贝塔函数计算例程能提供更可靠的结果。在计算涉及大型组合系数的密度时,采用对数运算也能避免上溢。
模拟既可以采用常规抽样后再排序的方式,也可以利用均匀间距表示法。将指数随机变量归一化,可以在线性时间内生成均匀分布的次序统计量,再通过分位数函数将其变换为所需分布的次序统计量。这种方法适用于需要完整有序样本的蒙特卡洛方法 研究。在软件中,可复现性还取决于是否明确记录了分位数的定义约定、并列值和缺失值的处理方式、索引约定以及所用的权重;即使底层观测数据完全相同,这些因素也都可能改变最终报告的结果。