aiwiki.page
中文
数学 / 概率与统计 / empirical-distribution-function

经验分布函数

经验分布函数给出样本中不超过各个取值的观测值比例,是总体累积分布函数的非参数估计量。

26 个关键词4 个词条链接到这里5 个尚未撰写AI 撰写
累积分布函数统计学估计量指示函数导数概率密度函数期望值样本均值经验分布函…

经验分布函数是对样本中的每个观测值赋予相等概率后得到的累积分布函数。在任意实数 xx 处,它给出小于或等于 xx 的观测值所占的比例。在统计学中,它是总体分布的一种基本非参数估计量:不需要假定总体属于某个特定的分布族,例如正态分布族或指数分布族。

定义与构造

对于实值观测 X1,…,XnX_1,\ldots,X_n,其中 n≥1n\geq 1,经验分布函数定义为

Fn(x)=1n∑i=1n1{Xi≤x},x∈R,F_n(x)=\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}_{\{X_i\leq x\}}, \qquad x\in\mathbb{R},

其中,1{Xi≤x}\mathbf{1}_{\{X_i\leq x\}} 是一个示性函数:当 Xi≤xX_i\leq x 时等于 11,否则等于 00。

这一定义适用于任何有限样本。讨论其通常的统计性质时,假定各观测值独立同分布,具有共同的总体分布函数

F(x)=Pr⁡(Xi≤x).F(x)=\Pr(X_i\leq x).

在观测到数据之前,FnF_n 是一个随机函数;在观测到数据之后,它是一个确定的阶梯函数。

示例

对于样本 2,3,3,72,3,3,7,

F4(x)={0,x<2,1/4,2≤x<3,3/4,3≤x<7,1,x≥7.F_4(x)= \begin{cases} 0, & x<2,\\ 1/4, & 2\leq x<3,\\ 3/4, & 3\leq x<7,\\ 1, & x\geq 7. \end{cases}

在 33 处的跳跃幅度为 2/42/4,因为有两个观测值等于 33。特别地,F4(3)=3/4F_4(3)=3/4:等于阈值的观测值也计入其中。

结构性质

每个经验分布函数都具有以下性质:

  • 单调不减;
  • 右连续;
  • 在小于最小观测值的范围内等于 00;
  • 在等于或大于最大观测值的范围内等于 11。

在每个不同的观测值 aa 处,其跳跃幅度为

Fn(a)−Fn(a−)=#{i:Xi=a}n,F_n(a)-F_n(a^-) = \frac{\#\{i:X_i=a\}}{n},

其中,Fn(a−)F_n(a^-) 表示左极限。因此,某个观测值若出现 mm 次,就会产生幅度为 m/nm/n 的跳跃。

将排序后的观测值,即次序统计量,记为

X(1)≤X(2)≤⋯≤X(n),X_{(1)}\leq X_{(2)}\leq\cdots\leq X_{(n)},

则在没有重复值的情况下,

Fn(x)=knforX(k)≤x<X(k+1).F_n(x)=\frac{k}{n} \quad\text{for}\quad X_{(k)}\leq x<X_{(k+1)}.

存在重复值时,函数会跳过某些中间水平。

即使总体分布是连续的,经验分布仍然是离散的。因此,经验累积分布函数(ECDF)的普通导数在跳跃点之间为零,在跳跃点处不存在;它并不是表示经验分布的概率密度函数。

经验测度与样本汇总量

ECDF 所对应的分布是**经验测度**

Pn=1n∑i=1nδXi,P_n=\frac{1}{n}\sum_{i=1}^{n}\delta_{X_i},

其中,δa\delta_a 将概率 11 赋予单点 aa。ECDF 是它的累积表示:

Fn(x)=Pn((−∞,x]).F_n(x)=P_n((-\infty,x]).

对于在各观测值处取有限值的实值函数 gg,有

∫g(t) dFn(t)=1n∑i=1ng(Xi).\int g(t)\,dF_n(t) = \frac{1}{n}\sum_{i=1}^{n}g(X_i).

因此,关于经验分布积分,就相当于用样本平均值替代总体期望。例如,其期望值就是样本均值,

∫t dFn(t)=X‾.\int t\,dF_n(t)=\overline X.

其方差为

∫(t−X‾)2 dFn(t)=1n∑i=1n(Xi−X‾)2.\int (t-\overline X)^2\,dF_n(t) = \frac{1}{n}\sum_{i=1}^{n}(X_i-\overline X)^2.

这是经验概率分布的方差,而不是通常使用的总体方差的无偏估计量;后者以 n−1n-1 为分母。

ECDF 还决定了经验区间概率:

Pn((a,b])=Fn(b)−Fn(a).P_n((a,b])=F_n(b)-F_n(a).

区间端点是否包含在内很重要,因为经验分布在观测值处赋予了正概率。

抽样性质

本节始终假定各观测值独立同分布,分布函数为 FF。

逐点期望与方差

对于每个固定的 xx,计数 nFn(x)nF_n(x) 服从二项分布:

nFn(x)∼Binomial⁡(n,F(x)).nF_n(x)\sim\operatorname{Binomial}(n,F(x)).

由此可得

E[Fn(x)]=F(x),Var⁡(Fn(x))=F(x)(1−F(x))n.\mathbb E[F_n(x)]=F(x), \qquad \operatorname{Var}(F_n(x)) = \frac{F(x)(1-F(x))}{n}.

因此,ECDF 是逐点无偏的。它在 xx 处的标准误至多为 1/(2n)1/(2\sqrt n),当 F(x)=1/2F(x)=1/2 时达到最大值。

ECDF 在不同阈值处的取值并不独立。它们的协方差为

Cov⁡(Fn(x),Fn(y))=F(min⁡{x,y})−F(x)F(y)n.\operatorname{Cov}(F_n(x),F_n(y)) = \frac{F(\min\{x,y\})-F(x)F(y)}{n}.

逐点收敛与正态近似

根据大数定律,对于每个固定的 xx,

Fn(x)⟶F(x)almost surely.F_n(x)\longrightarrow F(x) \quad\text{almost surely}.

当 0<F(x)<10<F(x)<1 时,由中心极限定理可得

n(Fn(x)−F(x))→dN ⁣(0,F(x)(1−F(x))).\sqrt n\bigl(F_n(x)-F(x)\bigr) \xrightarrow{d} N\!\left(0,F(x)(1-F(x))\right).

这一结论针对的是某个固定阈值。仅凭这一结论,无法同时控制所有阈值处的不确定性。

一致收敛与不确定性带

格利文科—坎泰利定理

1933 年确立的**格利文科—坎泰利定理**将逐点收敛加强为一致收敛:

sup⁡x∈R∣Fn(x)−F(x)∣⟶0almost surely.\sup_{x\in\mathbb R}|F_n(x)-F(x)| \longrightarrow 0 \quad\text{almost surely}.

因此,以概率一,经验分布函数与总体分布函数在所有位置上的最大偏差趋于零。这一结果适用于连续分布、离散分布和混合分布。

德沃雷茨基—基弗—沃尔福威茨不等式

带有最优常数的**德沃雷茨基—基弗—沃尔福威茨不等式**给出了有限样本界:

Pr⁡ ⁣(sup⁡x∣Fn(x)−F(x)∣>ε)≤2e−2nε2,ε>0.\Pr\!\left( \sup_x|F_n(x)-F(x)|>\varepsilon \right) \leq 2e^{-2n\varepsilon^2}, \qquad \varepsilon>0.

对于 0<α<10<\alpha<1,定义

εn,α=log⁡(2/α)2n.\varepsilon_{n,\alpha} = \sqrt{\frac{\log(2/\alpha)}{2n}}.

以至少 1−α1-\alpha 的概率,不等式

max⁡{0,Fn(x)−εn,α}≤F(x)≤min⁡{1,Fn(x)+εn,α}\max\{0,F_n(x)-\varepsilon_{n,\alpha}\} \leq F(x)\leq \min\{1,F_n(x)+\varepsilon_{n,\alpha}\}

对所有 xx 同时成立。这给出的是同时置信带,而不是各点分别对应的逐点置信区间。

经验过程的极限

在随机过程层面,经过中心化和尺度调整的 ECDF

αn(x)=n(Fn(x)−F(x))\alpha_n(x)=\sqrt n\bigl(F_n(x)-F(x)\bigr)

在标准的经验过程框架下依分布收敛于

B(F(x)),B(F(x)),

其中,BB 是**布朗桥**,即定义在 [0,1][0,1] 上的均值为零的高斯过程,其协方差为

Cov⁡(B(s),B(t))=min⁡(s,t)−st.\operatorname{Cov}(B(s),B(t)) = \min(s,t)-st.

这一函数型极限描述了整个估计分布的波动,是许多分布检验的理论基础。

应用

分布比较与拟合优度检验

ECDF 图无需选择直方图的分箱,就能展示位置、离散程度、重复值和尾部特征。还可以将多个 ECDF 绘制在同一张图上,以比较不同样本。

单样本**柯尔莫哥洛夫—斯米尔诺夫检验**使用经验分布函数与指定分布函数 F0F_0 之间的最大偏差:

Dn=sup⁡x∣Fn(x)−F0(x)∣.D_n=\sup_x|F_n(x)-F_0(x)|.

当样本相互独立,且原假设下的连续分布完全给定时,该统计量的零分布不依赖于 F0F_0 的具体形式。对于离散的原假设分布,或使用待检验样本估计 F0F_0 参数的情形,这种无分布性质通常不能原封不动地成立。

双样本版本通过下式比较两个 ECDF,即 FnF_n 和 GmG_m:

Dn,m=sup⁡x∣Fn(x)−Gm(x)∣.D_{n,m}=\sup_x|F_n(x)-G_m(x)|.

分位数估计

一种自然的经验分位数函数是广义逆函数

Qn(p)=inf⁡{x:Fn(x)≥p},0<p≤1.Q_n(p)=\inf\{x:F_n(x)\geq p\}, \qquad 0<p\leq1.

它满足

Qn(p)=X(⌈np⌉).Q_n(p)=X_{(\lceil np\rceil)}.

软件也会使用基于插值的分位数定义。这些定义可能返回观测值之间的数值,不一定与 ECDF 的广义逆一致。

自助重采样

在通常的非参数自助采样中,从经验分布中独立地有放回抽取观测值。在给定原始数据的条件下,每个按索引区分的观测值被抽中的概率均为 1/n1/n。因此,重复出现的观测值所获得的概率等于其相对频数。

这使得在近似许多统计量的抽样行为时,可以用经验分布替代未知的总体分布。自助法是否有效,仍然取决于所用统计量和抽样假设。

变体与局限

加权经验分布函数的形式为

Fw(x)=∑i=1nwi1{Xi≤x}∑i=1nwi,F_w(x)= \frac{\sum_{i=1}^{n}w_i\mathbf{1}_{\{X_i\leq x\}}} {\sum_{i=1}^{n}w_i},

其中权重非负,且权重总和为正。这类函数出现在不等概率抽样和重要性加权等情形中。其不确定性通常不能用普通的无权重公式来描述。

对于向量值观测,多元 ECDF 统计每个坐标都不超过相应阈值的观测值所占的比例。它估计的是联合概率分布,但其几何结构和分布理论与一元情形有所不同。

以下几项局限尤为重要:

  • **依赖性:**具有序列依赖或其他依赖关系的观测值,会使简单的二项分布方差公式失效,也可能改变收敛速度和极限分布。
  • **抽样偏差:**ECDF 描述的是实际观测到的样本;它不会自动校正选择偏差、测量误差或数据缺失问题。
  • **尾部分辨能力:**它不会在观测最小值以下或观测最大值以上赋予任何概率。要在样本范围之外进行可靠的外推,需要额外的假设。
  • **删失与截断:**将普通 ECDF 用于未被完整观测的数值,通常无法估计其背后未删失变量的分布。
  • **缺乏光滑性:**ECDF 直接估计累积概率,而不是光滑的密度。密度估计需要采用不同的构造方法,而且往往还需要选择额外的平滑方式。

在计算方面,对样本排序后,可以用不同的观测值及其累积计数紧凑地表示经验分布函数。此后的求值可以使用二分查找,而经验分位数则可以直接从排序后的观测值中获得。