经验分布是一种概率分布,它为数据集中的每个观测值赋予相等的概率,并在数值重复出现时将相应概率合并。它不假定正态分布或指数分布等参数模型,而是直接描述数据。对于数值型观测,经验分布通常用经验累积分布函数(ECDF)表示,该函数给出小于或等于各个数值的观测所占的比例。经验分布是统计学的基础概念,将观测频数与概率模型、估计和重采样联系起来。
定义
设 x1,…,xn 是可测空间 (S,A) 中的观测值,其中 n≥1。它们的经验分布是如下定义的概率测度 Pn:
Pn(A)=n1i=1∑n1{xi∈A},A∈A,
其中,1 是示性函数。因此,一个集合的经验概率,就是属于该集合的观测值占全部观测值的比例。
等价地,
Pn=n1i=1∑nδxi,
其中,δxi 表示集中在 xi 处的点质量概率测度。
每个观测值贡献 1/n 的概率质量。如果某个数值出现了 k 次,则该数值处的总概率质量为 k/n。因此,即使观测值是从连续的总体分布中抽取的,经验分布仍然是离散的。
定义本身不要求对数据的获取方式作出任何假设。但在利用经验分布推断总体性质时,统计独立性和同分布等假设就变得重要。
经验累积分布函数
对于实值观测,经验累积分布函数为
Fn(x)=Pn((−∞,x])=n1i=1∑n1{xi≤x}.
它是一个单调不减、右连续的阶梯函数。在小于最小观测值的位置,它等于零;在最大观测值及其以上的位置,它等于一。在每个不同的观测值处,其跳跃幅度等于该数值的相对频数。
若将观测值排序为
x(1)≤x(2)≤⋯≤x(n),
那么,当所有观测值互不相同时,在 x(k) 与 x(k+1) 之间有 Fn(x)=k/n。重复的观测值会产生更大的跳跃。
示例
对于数据集
2,2,5,8,
经验概率为
Pn({2})=21,Pn({5})=41,Pn({8})=41.
相应的经验累积分布函数为
Fn(x)=⎩⎨⎧0,1/2,3/4,1,x<2,2≤x<5,5≤x<8,x≥8.
因此,区间 (2,8] 的经验概率为
Pn((2,8])=Fn(8)−Fn(2)=21.
对于实值数据,经验分布及其经验累积分布函数包含相同的信息。前者侧重于赋予集合的概率,后者则提供了便于数值计算和图形展示的表示方式。
经验平均、矩与分位数
对于在各个观测值处取有限值的任意实值函数 g,关于经验分布的积分为
∫g(x)dPn(x)=n1i=1∑ng(xi).
因此,许多常见的样本统计量都是经验分布的性质。
它的期望值就是样本均值:
∫xdPn(x)=xˉ=n1i=1∑nxi.
它的方差为
∫(x−xˉ)2dPn(x)=n1i=1∑n(xi−xˉ)2.
这里采用分母 n,因为计算的是经验概率分布本身的方差。相比之下,在独立同分布抽样且总体方差有限的条件下,总体方差通常使用的无偏估计量以 n−1 为分母。这一区别是贝塞尔校正的基础。
对于 0<p<1,经验分位数可以通过广义逆定义:
Qn(p)=inf{x:Fn(x)≥p}.
按照这一约定,
Qn(p)=x(⌈np⌉).
统计软件也会采用在相邻观测值之间插值的分位数计算约定。这类插值结果不一定与阶梯状经验累积分布函数的广义逆一致。例如,对于观测数为偶数的数据集,常见的做法是取中间两个观测值的平均数作为中位数,这与通过广义逆定义的中位数不同。
统计性质
设 X1,…,Xn 为独立同分布的观测值,总体累积分布函数为 F。在观测到数据之前,Pn 和 Fn 都是随机对象。
固定点处的表现
对于任意固定的 x,不超过 x 的观测值个数服从二项分布:
nFn(x)∼Binomial(n,F(x)).
由此可得
E[Fn(x)]=F(x),Var(Fn(x))=nF(x)(1−F(x)).
因此,Fn(x) 是 F(x) 的无偏估计量。由大数定律,对于每个固定的 x,有
Fn(x)⟶F(x)almost surely
即几乎必然收敛。
当 0<F(x)<1 时,由中心极限定理还可得
n(Fn(x)−F(x))dN(0,F(x)(1−F(x))).
一致收敛
一个更强的结论是格利文科—坎泰利定理,它指出
x∈Rsup∣Fn(x)−F(x)∣⟶0almost surely.
这就是一致收敛:趋于零的是整条实数轴上的最大偏差,而不仅仅是某个固定点处的偏差。
德沃雷茨基–基弗–沃尔福维茨不等式给出了有限样本下的界:
Pr(xsup∣Fn(x)−F(x)∣>ε)≤2e−2nε2,ε>0.
对于 0<α<1,令
εn,α=2nlog(2/α)
即可得到覆盖概率至少为 1−α 的同时置信带:
max{0,Fn(x)−εn,α}≤F(x)≤min{1,Fn(x)+εn,α}
上述不等式以所述概率对所有 x 同时成立。与逐点置信区间不同,这条置信带同时覆盖整个累积分布函数。
应用
非参数估计
经验分布是一种基本的非参数估计量:它无须选定有限维参数分布族,就能对分布进行估计。
代入原则通过对经验分布施加相同的数学运算来估计总体量 T(P):
T(P)≈T(Pn).
由此可以得到样本矩、分位数、比例以及许多其他统计量。代入估计是否有用,既取决于抽样假设,也取决于泛函 T 的性质。
自助重采样
在通常的非参数自助采样中,以已观测到的数据为条件,从 Pn 中独立抽取新样本。在实际操作中,这意味着对原始观测值进行有放回抽样。
在这些样本上反复重新计算某个统计量,可以近似得到它的抽样分布。因此,经验分布起到了替代总体的作用。自助法并非总是有效:其有效性取决于所用统计量和抽样情境,对于某些极值问题或其他非正则问题,通常的自助法可能失效。
拟合优度检验
经验累积分布函数在拟合优度检验中发挥着核心作用。单样本柯尔莫哥洛夫—斯米尔诺夫检验使用下式,将经验累积分布函数与指定的累积分布函数 F0 进行比较:
Dn=xsup∣Fn(x)−F0(x)∣.
当原假设分布是完全指定的连续分布时,该统计量在原假设下的分布不依赖于 F0 的具体形式。如果原假设分布是离散的,或者其参数是用同一份数据估计的,通常就需要调整标准的检验校准方式。
双样本版本则比较来自两个不同数据集的经验累积分布函数。
经验风险最小化
在统计学习中,经验分布将总体平均损失函数转化为观测数据上的平均损失。对于数据 Z1,…,Zn 和损失函数 ℓ(θ,z),有
Rn(θ)=∫ℓ(θ,z)dPn(z)=n1i=1∑nℓ(θ,Zi).
最小化这一经验风险是一种核心估计方法。在观测数据上表现良好,本身并不能保证在新数据上也表现良好;模型复杂度和抽样条件同样重要。
扩展
加权经验分布为观测值赋予非负权重 wi,满足 ∑iwi=1:
Pw=i=1∑nwiδxi.
权重可以用于反映不等的抽样概率、表示重要性权重,或进行其他调整。其统计性质取决于权重的构造方式;普通经验累积分布函数的结论不能不加修改地直接套用。
对于 Rd 中的向量值观测,同样可以采用点质量定义。多元经验累积分布函数为
Fn(t1,…,td)=n1i=1∑n1{Xi1≤t1,…,Xid≤td}.
基于测度的定义也适用于分类数据和其他可测观测空间,即使这些空间不存在自然的排序或一维累积分布函数。
区别与局限
经验分布不是直方图。直方图将观测值分组到各个区间中,其形状取决于分组边界和宽度。经验分布则保留观测值的精确数值及其频数,但不保留它们的原始顺序。
它也不是相对于通常长度测度的概率密度函数。有限样本的经验分布具有点质量。核平滑等密度估计方法通过将概率分散到观测值周围,构造出另一种对象。
经验分布也不同于统计量的抽样分布。前者描述已观测到的数据,后者描述某个统计量在重复抽样中的变化情况。
经验分布的主要局限在于观测数据所能支持的推断范围:
- 未观测到的结果被赋予零经验概率。 这并不意味着它们在总体中的概率为零。特别是,经验分布无法直接向观测到的最小值和最大值之外进行外推。
- 代表性无法保证。 选择偏差或不合适的抽样设计,可能导致经验分布无法逼近目标总体。
- 相依性会改变不确定性。 对于时间序列或成簇观测,独立抽样下的方差公式和置信界通常不能不加修改地使用。
- 累积分布函数收敛并不保证每个统计量都收敛。 矩和其他无界泛函的一致性需要可积性等额外条件。
- 顺序信息会丢失。 具有相同数值及频数的数据集,其经验分布相同,即使它们在时间或空间上的排列不同。