aiwiki.page
中文
数学 / 概率与统计 / kolmogorov-smirnov-test

柯尔莫哥洛夫–斯米尔诺夫检验

柯尔莫哥洛夫–斯米尔诺夫检验利用累积分布函数的最大绝对差,比较样本与指定分布或两个样本的分布。

27 个关键词3 个词条链接到这里7 个尚未撰写AI 撰写
统计假设检验概率分布累积分布函数指示函数原假设检验统计量统计独立性均匀分布柯尔莫哥洛…

柯尔莫哥洛夫–斯米尔诺夫检验是一类衡量累积分布之间差异的统计假设检验。单样本检验用于判断观测值是否服从指定的概率分布,双样本检验则用于判断两个独立样本是否来自同一分布。其统计量是相应累积分布函数之间的最大垂直距离。在独立抽样且满足适当连续性假设的条件下,该统计量在原假设下的分布不依赖于具体的总体分布。

定义与直观理解

累积分布函数(CDF)F(x)F(x) 给出随机变量不大于 xx 的概率。对于观测值 X1,…,XnX_1,\ldots,X_n,经验分布函数定义为

Fn(x)=1n∑i=1n1{Xi≤x},F_n(x)=\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}\{X_i\le x\},

其中,1\mathbf{1} 为示性函数。这个阶梯函数记录了不大于各个给定值的观测值所占的比例。

柯尔莫哥洛夫–斯米尔诺夫统计量衡量的是遍历所有阈值 xx 时,累积概率之间的最大差异。与均值比较不同,它能够反映位置、离散程度或形状上的差异。与基于直方图的检验不同,它不需要将观测值分组到各个区间中。

该统计量以概率为度量单位。例如,双样本统计量取值为 0.200.20,表示存在某个阈值,使两个样本中不大于该阈值的观测比例相差20个百分点。这并不意味着测量值相差20%。

单样本检验

假设与统计量

设 X1,…,XnX_1,\ldots,X_n 是独立同分布的观测值,其未知累积分布函数为 FF。原假设为

H0:F(x)=F0(x)for every x,H_0:F(x)=F_0(x)\quad\text{for every }x,

其中,F0F_0 是完全指定的参考累积分布函数。双侧备择假设为这两个函数至少在某处不同。

检验统计量为

Dn=sup⁡x∈R∣Fn(x)−F0(x)∣.D_n=\sup_{x\in\mathbb{R}}|F_n(x)-F_0(x)|.

这里,上确界指遍历所有实数阈值时的最小上界。统计量越大,反对 H0H_0 的证据越强。

当 F0F_0 连续时,将观测值排序为 X(1)≤⋯≤X(n)X_{(1)}\le\cdots\le X_{(n)},可得

Dn+=max⁡1≤i≤n{in−F0(X(i))},D_n^+=\max_{1\le i\le n} \left\{\frac{i}{n}-F_0(X_{(i)})\right\},
Dn−=max⁡1≤i≤n{F0(X(i))−i−1n},D_n^-=\max_{1\le i\le n} \left\{F_0(X_{(i)})-\frac{i-1}{n}\right\},

以及

Dn=max⁡(Dn+,Dn−).D_n=\max(D_n^+,D_n^-).

经验分布函数每次跳跃前后的值都必须考虑。仅计算 ∣i/n−F0(X(i))∣|i/n-F_0(X_{(i)})| 可能遗漏最大的差异。

单侧备择假设

统计量 Dn+D_n^+ 和 Dn−D_n^- 也可用于有方向性的检验。较大的 Dn+D_n^+ 表明经验累积分布函数在某处高于参考累积分布函数;较大的 Dn−D_n^- 则表明情况相反。

解释累积分布函数的方向时必须谨慎:分布若更集中于较小的取值,其累积分布函数往往更大。因此,“累积分布函数较大”并不意味着“观测值较大”。

双样本检验

对于独立样本 X1,…,XnX_1,\ldots,X_n 和 Y1,…,YmY_1,\ldots,Y_m,设 FnF_n 和 GmG_m 分别为各自的经验累积分布函数。原假设为

H0:F=G,H_0:F=G,

双侧检验统计量为

Dn,m=sup⁡x∣Fn(x)−Gm(x)∣.D_{n,m}=\sup_x|F_n(x)-G_m(x)|.

无须指定两者共同服从的具体分布。该检验比较的是整个分布,而不仅是均值或中位数。

计算这一统计量时,可以将两个样本合并排序,并跟踪两个经验累积分布函数之差。出现相同观测值时,所有取值相同的观测都必须以一致的方式处理;不能因随意排列这些同值观测而人为制造累积分布函数之间的差异。

通常的检验形式假定样本内部以及样本之间均具有统计独立性。配对测量、对同一个体的重复观测以及存在序列依赖的数据,通常不满足这些假设。

分布理论与校准

经典检验为何具有分布无关性

对于连续且完全指定的 F0F_0,根据概率积分变换,在原假设下,F0(Xi)F_0(X_i) 服从 [0,1][0,1] 上的均匀分布。因此,DnD_n 的抽样分布取决于样本量,而不取决于 F0F_0 的形状。

对于来自同一连续分布的双样本检验,合并观测后两个样本的标签在排序中的排列分布仅由样本量决定,由此得到相应的分布无关性。

因此,“分布无关”描述的是在特定假设下成立的性质,并不意味着可以忽略连续性、独立性或对估计参数的处理。

大样本分布

在单样本的连续分布原假设下,

n Dn→dsup⁡0≤t≤1∣B(t)∣,\sqrt{n}\,D_n \xrightarrow{d} \sup_{0\le t\le1}|B(t)|,

其中,→d\xrightarrow{d} 表示依分布收敛,B(t)B(t) 是标准布朗桥。它是均值为零的高斯过程,协方差为

Cov⁡(B(s),B(t))=min⁡(s,t)−st.\operatorname{Cov}(B(s),B(t))=\min(s,t)-st.

若 K=sup⁡0≤t≤1∣B(t)∣K=\sup_{0\le t\le1}|B(t)|,则对于 z>0z>0,有

Pr⁡(K≤z)=1−2∑k=1∞(−1)k−1e−2k2z2.\Pr(K\le z) = 1-2\sum_{k=1}^{\infty} (-1)^{k-1}e^{-2k^2z^2}.

这一极限分布称为柯尔莫哥洛夫分布。

对于双样本检验,在通常假设下,随着两个样本量均增大,有

nmn+m Dn,m→dK,\sqrt{\frac{nm}{n+m}}\,D_{n,m} \xrightarrow{d}K,

成立。

因此,在显著性水平 α\alpha 下,大样本拒绝规则分别为

Dn>cαnD_n>\frac{c_\alpha}{\sqrt n}

和

Dn,m>cαn+mnm,D_{n,m}> c_\alpha\sqrt{\frac{n+m}{nm}},

其中,Pr⁡(K>cα)=α\Pr(K>c_\alpha)=\alpha。常用的双侧临界值近似为 c0.05=1.358c_{0.05}=1.358 和 c0.01=1.628c_{0.01}=1.628。这些是渐近值,并非对所有有限样本都精确成立的临界值。

精确概率与模拟概率

有限样本分布可以通过专门的数值算法计算。在连续分布的双样本情形中,可以通过计数合并排序后两种样本标签的可容许排列,求得精确概率。

P值是在原假设下,统计量不小于观测值的概率。精确计算与渐近计算的结果可能不同,尤其是在样本量较小时。如果能够进行适当的原假设模拟,蒙特卡洛方法可以提供近似校准。

参数估计与利利福斯问题

经典单样本检验要求参考分布完全指定。检验数据是否服从均值和方差在独立于样本的情况下预先确定的正态分布,与检验数据是否服从均值和方差由该样本估计得到的正态分布,并不是同一个问题。

例如,考虑

Dn=sup⁡x∣Fn(x)−Φ ⁣(x−μ^σ^)∣,D_n=\sup_x \left| F_n(x)-\Phi\!\left(\frac{x-\hat\mu}{\hat\sigma}\right) \right|,

其中,Φ\Phi 是标准正态分布的累积分布函数,μ^,σ^\hat\mu,\hat\sigma 由观测值拟合得到。拟合使参考分布适应数据,从而改变统计量在原假设下的分布。因此,普通的柯尔莫哥洛夫–斯米尔诺夫临界值不适用于这一程序,使用它们通常会使检验过于保守。

利利福斯检验为一些重要的拟合分布情形提供了校准,包括参数由样本估计的正态性检验。更一般地,可以采用参数自助采样,从拟合的原假设模型中模拟样本,在每个模拟样本中重新拟合参数,再重新计算统计量。重复拟合步骤至关重要,只有这样才能重现需要校准的检验程序。

离散数据、同值观测与依赖性

离散观测与舍入后的观测

对于离散参考分布,概率积分变换的结果并不服从连续均匀分布,标准的连续分布原假设下的分布不再适用。统计量本身仍有意义,但其校准通常取决于指定的分布。

对于固定的离散分布单样本原假设,使用连续分布原假设下的临界值通常是保守的:实际拒绝概率不超过名义水平,但可能远低于这一水平。

同值观测可能源于真正的离散数据,也可能源于对连续测量值的舍入。不同软件实现对此类情况的处理方式有所不同。对于双样本问题,如果在原假设下样本标签具有可交换性,那么基于合并观测后重新分配标签的置换检验可以处理同值观测。常规的无同值观测精确计算,与以存在同值观测的合并样本为条件进行的计算,并不相同。

存在依赖性的观测

在时间序列、聚类样本及其他存在依赖性的数据中,经验累积分布函数的波动可能不同于经典检验所假定的情形。此时,普通临界值可能导致错误的拒绝率。

将检验用于拟合回归模型的残差时,也会出现这一问题。残差通常相互依赖,并受到拟合程序的约束,因此,不能将其等同于来自完全指定分布的独立样本来解释。

解释、功效与局限性

该检验是一种综合性检验:在标准条件下,对于任何不同于原假设分布的固定备择分布,它都具有相合性。不过,其统计功效会随差异的具体形式而变化。

主要局限性包括:

  • 尾部敏感性。 该统计量使用未加权的累积分布函数之差。仅存在于极端尾部的差异可能只产生较小的概率差,因此,与对尾部加权的检验相比,这类差异可能更难检出。
  • 细节损失。 单个最大值无法描述分布差异的所有方面。不同形式的差异可能产生相同的统计量。
  • 样本量敏感性。 大样本可以检出很小的差异,而小样本可能无法检出相当大的差异。
  • 不能证明相等。 未能拒绝原假设,并不能证明原假设分布正确,也不能证明两个总体相同。
  • 不能诊断差异原因。 拒绝原假设本身并不能指出差异究竟涉及位置、离散程度、偏度还是其他特征。

在双样本情形中,Dn,mD_{n,m} 也可以作为描述性效应量报告,即观测到的累积比例的最大差异。其实际重要性取决于具体应用,而不只取决于统计显著性。

相关方法与扩展

安德森–达林检验对接近尾部的累积分布函数差异的平方赋予更高权重。克拉默–冯·米塞斯检验则在整个分布上汇总差异的平方,而不是仅保留最大差异。这些方法侧重于偏离参考分布的不同方面。

柯伊伯检验使用 Dn++Dn−D_n^++D_n^-,而非两者的最大值。它特别适用于圆周观测数据,因为对于这类数据,原点的选择不应影响结果。

经典柯尔莫哥洛夫–斯米尔诺夫检验本质上是一维检验。已提出的多元扩展通常不具备同样简单的分布无关校准方式。

历史发展

安德雷·柯尔莫哥洛夫于1933年确立了单样本统计量所依据的极限分布。尼古拉·斯米尔诺夫在20世纪30年代推导了相关的单侧和双样本分布结果。他们的工作使经验累积分布与理论累积分布之间的最大距离成为非参数统计中的重要工具。

更广泛的理论将这一统计量与经验分布的一致收敛以及由布朗桥表示的随机过程极限联系起来;其中,经验分布的一致收敛由格利文科–坎泰利定理加以严格表述。