aiwiki.page
中文
数学 / 概率与统计 / empirical-distribution

经验分布

经验分布按观测值的相对频数分配概率,是对潜在概率分布的一种非参数估计。

28 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
概率分布统计学可测空间指示函数统计独立性累积分布函数期望值样本均值经验分布

经验分布是一种概率分布,它为数据集中的每个观测值赋予相等的概率,并在数值重复出现时将相应概率合并。它不假定正态分布或指数分布等参数模型,而是直接描述数据。对于数值型观测,经验分布通常用经验累积分布函数(ECDF)表示,该函数给出小于或等于各个数值的观测所占的比例。经验分布是统计学的基础概念,将观测频数与概率模型、估计和重采样联系起来。

定义

设 x1,…,xnx_1,\ldots,x_n 是可测空间 (S,A)(S,\mathcal A) 中的观测值,其中 n≥1n\geq 1。它们的经验分布是如下定义的概率测度 PnP_n:

Pn(A)=1n∑i=1n1{xi∈A},A∈A,P_n(A)=\frac{1}{n}\sum_{i=1}^{n}\mathbf 1_{\{x_i\in A\}}, \qquad A\in\mathcal A,

其中,1\mathbf 1 是示性函数。因此,一个集合的经验概率,就是属于该集合的观测值占全部观测值的比例。

等价地,

Pn=1n∑i=1nδxi,P_n=\frac{1}{n}\sum_{i=1}^{n}\delta_{x_i},

其中,δxi\delta_{x_i} 表示集中在 xix_i 处的点质量概率测度。

每个观测值贡献 1/n1/n 的概率质量。如果某个数值出现了 kk 次,则该数值处的总概率质量为 k/nk/n。因此,即使观测值是从连续的总体分布中抽取的,经验分布仍然是离散的。

定义本身不要求对数据的获取方式作出任何假设。但在利用经验分布推断总体性质时,统计独立性和同分布等假设就变得重要。

经验累积分布函数

对于实值观测,经验累积分布函数为

Fn(x)=Pn((−∞,x])=1n∑i=1n1{xi≤x}.F_n(x)=P_n((-\infty,x]) =\frac{1}{n}\sum_{i=1}^{n}\mathbf 1_{\{x_i\leq x\}}.

它是一个单调不减、右连续的阶梯函数。在小于最小观测值的位置,它等于零;在最大观测值及其以上的位置,它等于一。在每个不同的观测值处,其跳跃幅度等于该数值的相对频数。

若将观测值排序为

x(1)≤x(2)≤⋯≤x(n),x_{(1)}\leq x_{(2)}\leq\cdots\leq x_{(n)},

那么,当所有观测值互不相同时,在 x(k)x_{(k)} 与 x(k+1)x_{(k+1)} 之间有 Fn(x)=k/nF_n(x)=k/n。重复的观测值会产生更大的跳跃。

示例

对于数据集

2,  2,  5,  8,2,\;2,\;5,\;8,

经验概率为

Pn({2})=12,Pn({5})=14,Pn({8})=14.P_n(\{2\})=\frac12,\qquad P_n(\{5\})=\frac14,\qquad P_n(\{8\})=\frac14.

相应的经验累积分布函数为

Fn(x)={0,x<2,1/2,2≤x<5,3/4,5≤x<8,1,x≥8.F_n(x)= \begin{cases} 0, & x<2,\\ 1/2, & 2\leq x<5,\\ 3/4, & 5\leq x<8,\\ 1, & x\geq 8. \end{cases}

因此,区间 (2,8](2,8] 的经验概率为

Pn((2,8])=Fn(8)−Fn(2)=12.P_n((2,8])=F_n(8)-F_n(2)=\frac12.

对于实值数据,经验分布及其经验累积分布函数包含相同的信息。前者侧重于赋予集合的概率,后者则提供了便于数值计算和图形展示的表示方式。

经验平均、矩与分位数

对于在各个观测值处取有限值的任意实值函数 gg,关于经验分布的积分为

∫g(x) dPn(x)=1n∑i=1ng(xi).\int g(x)\,dP_n(x)=\frac1n\sum_{i=1}^{n}g(x_i).

因此,许多常见的样本统计量都是经验分布的性质。

它的期望值就是样本均值:

∫x dPn(x)=xˉ=1n∑i=1nxi.\int x\,dP_n(x)=\bar x =\frac1n\sum_{i=1}^{n}x_i.

它的方差为

∫(x−xˉ)2 dPn(x)=1n∑i=1n(xi−xˉ)2.\int (x-\bar x)^2\,dP_n(x) =\frac1n\sum_{i=1}^{n}(x_i-\bar x)^2.

这里采用分母 nn,因为计算的是经验概率分布本身的方差。相比之下,在独立同分布抽样且总体方差有限的条件下,总体方差通常使用的无偏估计量以 n−1n-1 为分母。这一区别是贝塞尔校正的基础。

对于 0<p<10<p<1,经验分位数可以通过广义逆定义:

Qn(p)=inf⁡{x:Fn(x)≥p}.Q_n(p)=\inf\{x:F_n(x)\geq p\}.

按照这一约定,

Qn(p)=x(⌈np⌉).Q_n(p)=x_{(\lceil np\rceil)}.

统计软件也会采用在相邻观测值之间插值的分位数计算约定。这类插值结果不一定与阶梯状经验累积分布函数的广义逆一致。例如,对于观测数为偶数的数据集,常见的做法是取中间两个观测值的平均数作为中位数,这与通过广义逆定义的中位数不同。

统计性质

设 X1,…,XnX_1,\ldots,X_n 为独立同分布的观测值,总体累积分布函数为 FF。在观测到数据之前,PnP_n 和 FnF_n 都是随机对象。

固定点处的表现

对于任意固定的 xx,不超过 xx 的观测值个数服从二项分布:

nFn(x)∼Binomial⁡(n,F(x)).nF_n(x)\sim\operatorname{Binomial}(n,F(x)).

由此可得

E[Fn(x)]=F(x),Var⁡(Fn(x))=F(x)(1−F(x))n.\mathbb E[F_n(x)]=F(x), \qquad \operatorname{Var}(F_n(x)) =\frac{F(x)(1-F(x))}{n}.

因此,Fn(x)F_n(x) 是 F(x)F(x) 的无偏估计量。由大数定律,对于每个固定的 xx,有

Fn(x)⟶F(x)almost surelyF_n(x)\longrightarrow F(x) \quad\text{almost surely}

即几乎必然收敛。

当 0<F(x)<10<F(x)<1 时,由中心极限定理还可得

n(Fn(x)−F(x))→dN ⁣(0,F(x)(1−F(x))).\sqrt n\bigl(F_n(x)-F(x)\bigr) \xrightarrow{d} N\!\left(0,F(x)(1-F(x))\right).

一致收敛

一个更强的结论是格利文科—坎泰利定理,它指出

sup⁡x∈R∣Fn(x)−F(x)∣⟶0almost surely.\sup_{x\in\mathbb R}|F_n(x)-F(x)| \longrightarrow 0 \quad\text{almost surely}.

这就是一致收敛:趋于零的是整条实数轴上的最大偏差,而不仅仅是某个固定点处的偏差。

德沃雷茨基–基弗–沃尔福维茨不等式给出了有限样本下的界:

Pr⁡ ⁣(sup⁡x∣Fn(x)−F(x)∣>ε)≤2e−2nε2,ε>0.\Pr\!\left( \sup_x|F_n(x)-F(x)|>\varepsilon \right) \leq 2e^{-2n\varepsilon^2}, \qquad \varepsilon>0.

对于 0<α<10<\alpha<1,令

εn,α=log⁡(2/α)2n\varepsilon_{n,\alpha} =\sqrt{\frac{\log(2/\alpha)}{2n}}

即可得到覆盖概率至少为 1−α1-\alpha 的同时置信带:

max⁡{0,Fn(x)−εn,α}≤F(x)≤min⁡{1,Fn(x)+εn,α}\max\{0,F_n(x)-\varepsilon_{n,\alpha}\} \leq F(x)\leq \min\{1,F_n(x)+\varepsilon_{n,\alpha}\}

上述不等式以所述概率对所有 xx 同时成立。与逐点置信区间不同,这条置信带同时覆盖整个累积分布函数。

应用

非参数估计

经验分布是一种基本的非参数估计量:它无须选定有限维参数分布族,就能对分布进行估计。

代入原则通过对经验分布施加相同的数学运算来估计总体量 T(P)T(P):

T(P)≈T(Pn).T(P)\approx T(P_n).

由此可以得到样本矩、分位数、比例以及许多其他统计量。代入估计是否有用,既取决于抽样假设,也取决于泛函 TT 的性质。

自助重采样

在通常的非参数自助采样中,以已观测到的数据为条件,从 PnP_n 中独立抽取新样本。在实际操作中,这意味着对原始观测值进行有放回抽样。

在这些样本上反复重新计算某个统计量,可以近似得到它的抽样分布。因此,经验分布起到了替代总体的作用。自助法并非总是有效:其有效性取决于所用统计量和抽样情境,对于某些极值问题或其他非正则问题,通常的自助法可能失效。

拟合优度检验

经验累积分布函数在拟合优度检验中发挥着核心作用。单样本柯尔莫哥洛夫—斯米尔诺夫检验使用下式,将经验累积分布函数与指定的累积分布函数 F0F_0 进行比较:

Dn=sup⁡x∣Fn(x)−F0(x)∣.D_n=\sup_x|F_n(x)-F_0(x)|.

当原假设分布是完全指定的连续分布时,该统计量在原假设下的分布不依赖于 F0F_0 的具体形式。如果原假设分布是离散的,或者其参数是用同一份数据估计的,通常就需要调整标准的检验校准方式。

双样本版本则比较来自两个不同数据集的经验累积分布函数。

经验风险最小化

在统计学习中,经验分布将总体平均损失函数转化为观测数据上的平均损失。对于数据 Z1,…,ZnZ_1,\ldots,Z_n 和损失函数 ℓ(θ,z)\ell(\theta,z),有

Rn(θ)=∫ℓ(θ,z) dPn(z)=1n∑i=1nℓ(θ,Zi).R_n(\theta) =\int \ell(\theta,z)\,dP_n(z) =\frac1n\sum_{i=1}^{n}\ell(\theta,Z_i).

最小化这一经验风险是一种核心估计方法。在观测数据上表现良好,本身并不能保证在新数据上也表现良好;模型复杂度和抽样条件同样重要。

扩展

加权经验分布为观测值赋予非负权重 wiw_i,满足 ∑iwi=1\sum_iw_i=1:

Pw=∑i=1nwiδxi.P_w=\sum_{i=1}^{n}w_i\delta_{x_i}.

权重可以用于反映不等的抽样概率、表示重要性权重,或进行其他调整。其统计性质取决于权重的构造方式;普通经验累积分布函数的结论不能不加修改地直接套用。

对于 Rd\mathbb R^d 中的向量值观测,同样可以采用点质量定义。多元经验累积分布函数为

Fn(t1,…,td)=1n∑i=1n1{Xi1≤t1,…,Xid≤td}.F_n(t_1,\ldots,t_d) = \frac1n\sum_{i=1}^{n} \mathbf1_{\{X_{i1}\leq t_1,\ldots,X_{id}\leq t_d\}}.

基于测度的定义也适用于分类数据和其他可测观测空间,即使这些空间不存在自然的排序或一维累积分布函数。

区别与局限

经验分布不是直方图。直方图将观测值分组到各个区间中,其形状取决于分组边界和宽度。经验分布则保留观测值的精确数值及其频数,但不保留它们的原始顺序。

它也不是相对于通常长度测度的概率密度函数。有限样本的经验分布具有点质量。核平滑等密度估计方法通过将概率分散到观测值周围,构造出另一种对象。

经验分布也不同于统计量的抽样分布。前者描述已观测到的数据,后者描述某个统计量在重复抽样中的变化情况。

经验分布的主要局限在于观测数据所能支持的推断范围:

  • 未观测到的结果被赋予零经验概率。 这并不意味着它们在总体中的概率为零。特别是,经验分布无法直接向观测到的最小值和最大值之外进行外推。
  • 代表性无法保证。 选择偏差或不合适的抽样设计,可能导致经验分布无法逼近目标总体。
  • 相依性会改变不确定性。 对于时间序列或成簇观测,独立抽样下的方差公式和置信界通常不能不加修改地使用。
  • 累积分布函数收敛并不保证每个统计量都收敛。 矩和其他无界泛函的一致性需要可积性等额外条件。
  • 顺序信息会丢失。 具有相同数值及频数的数据集,其经验分布相同,即使它们在时间或空间上的排列不同。