aiwiki.page
中文
数学 / 概率与统计 / convergence-in-distribution

依分布收敛

依分布收敛指概率分布的收敛,可用分布函数在连续点处的收敛或有界连续函数期望值的收敛来刻画。

32 个关键词3 个词条链接到这里7 个尚未撰写AI 撰写
概率概率分布统计学随机变量累积分布函数概率空间连续函数期望值依分布收敛

依分布收敛是概率论中的一种收敛方式,指一列随机变量的概率分布趋于某个极限分布。它描述的是各种结果的概率在极限下的行为,而不要求随机变量本身彼此接近。对于实值随机变量,依分布收敛意味着它们的累积分布函数在极限分布函数的每一个连续点处收敛。这一概念是极限定理以及统计学中分布近似的基础。

定义

设 X1,X2,…X_1,X_2,\ldots 和 XX 为实值随机变量,其累积分布函数分别为

Fn(x)=P(Xn≤x),F(x)=P(X≤x).F_n(x)=\mathbb P(X_n\leq x), \qquad F(x)=\mathbb P(X\leq x).

如果对于 FF 连续的每一点 x∈Rx\in\mathbb R,都有

Fn(x)⟶F(x)F_n(x)\longrightarrow F(x)

则称序列 XnX_n 依分布收敛于 XX。常用记号包括

Xn→dX,Xn⇒X,Xn→DX.X_n\xrightarrow{d}X, \qquad X_n\Rightarrow X, \qquad X_n\xrightarrow{\mathcal D}X.

依分布收敛只与分布有关。这些变量不必定义在同一个概率空间上,将其中任意一个变量替换为另一个同分布的变量,都不会改变收敛结论。等价地,若用 μn\mu_n 和 μ\mu 表示它们的分布律,则记为

μn⇒μ.\mu_n\Rightarrow\mu.

这称为概率测度的弱收敛。这里的“弱”是指用适当的函数来检验测度;它并不是指收敛到分布理论中的广义函数。

为什么只要求在连续点处收敛

假设 Xn=1/nX_n=1/n 是确定性的,且 X=0X=0。此时 Xn⇒XX_n\Rightarrow X,但

Fn(0)=0for all n,F(0)=1.F_n(0)=0 \quad\text{for all }n, \qquad F(0)=1.

极限分布在零点有一个原子,因此其分布函数在该点不连续。如果要求在每一个实数处都收敛,就会错误地排除这一序列。

不过,若 FF 处处连续,则依分布收敛蕴含更强的结论:

sup⁡x∈R∣Fn(x)−F(x)∣⟶0.\sup_{x\in\mathbb R}|F_n(x)-F(x)|\longrightarrow0.

因此,当极限分布函数连续时,分布函数的收敛是一致收敛。

等价刻画

有界连续检验函数

对于实值随机变量,依分布收敛等价于:对每一个有界连续函数 f:R→Rf:\mathbb R\to\mathbb R,都有

E[f(Xn)]⟶E[f(X)]\mathbb E[f(X_n)]\longrightarrow\mathbb E[f(X)]

这一表述通过观测值的平均来表达收敛。有界性保证相关的期望值存在;连续性则使检验函数不会在极限分布赋予正概率的边界处,因跳变而区分出不稳定的差异。

这一表述也将定义推广到更一般空间中的随机元素。若 SS 是一个度量空间,μn,μ\mu_n,\mu 是其博雷尔σ代数上的概率测度,则弱收敛定义为:对 SS 上每一个有界连续实值函数,都有

∫Sf dμn⟶∫Sf dμ\int_S f\,d\mu_n\longrightarrow\int_S f\,d\mu

对于欧几里得空间中的随机向量,多元分布函数在极限分布函数的每一个连续点处收敛,也是一个等价判据。

波特曼托定理

波特曼托定理汇集了弱收敛的多种等价表述。对于度量空间上的博雷尔概率测度,μn⇒μ\mu_n\Rightarrow\mu 与下列各条件分别等价:

  • 对每一个闭集 CC,都有

    lim sup⁡n→∞μn(C)≤μ(C).\limsup_{n\to\infty}\mu_n(C)\leq\mu(C).
  • 对每一个开集 GG,都有

    lim inf⁡n→∞μn(G)≥μ(G).\liminf_{n\to\infty}\mu_n(G)\geq\mu(G).
  • 对每一个边界满足 μ(∂A)=0\mu(\partial A)=0 的博雷尔集 AA,都有

    μn(A)⟶μ(A).\mu_n(A)\longrightarrow\mu(A).

满足上述边界条件的集合称为 μ\mu 的连续集。这一限制至关重要:弱收敛并不蕴含每一个可测集的概率都收敛。

例如,对于实数 a<ba<b,只要 XX 在 aa 和 bb 处都没有原子,就有

P(a<Xn≤b)⟶P(a<X≤b)\mathbb P(a<X_n\leq b)\longrightarrow \mathbb P(a<X\leq b)

特征函数

实值随机变量的特征函数为

φX(t)=E[eitX],t∈R.\varphi_X(t)=\mathbb E[e^{itX}], \qquad t\in\mathbb R.

莱维连续性定理指出,

Xn⇒X⟺φXn(t)⟶φX(t)for every t∈R.X_n\Rightarrow X \quad\Longleftrightarrow\quad \varphi_{X_n}(t)\longrightarrow\varphi_X(t) \quad\text{for every }t\in\mathbb R.

更一般地,若特征函数逐点收敛于一个在零点连续的函数 φ\varphi,则 φ\varphi 是某个概率分布的特征函数,且相应的分布律弱收敛于该分布。由于独立变量之和的特征函数等于各变量特征函数的乘积,这一判据对研究独立变量之和尤其有用。

与其他收敛方式的关系

对于定义在同一个概率空间上的变量,主要的蕴含关系为

Xn⟶X almost surely⟹Xn→pX⟹Xn→dX.X_n\longrightarrow X\text{ almost surely} \quad\Longrightarrow\quad X_n\xrightarrow{p}X \quad\Longrightarrow\quad X_n\xrightarrow{d}X.

几乎必然收敛指在一个概率为零的样本点集合之外均成立的收敛。依概率收敛要求对每一个 ε>0\varepsilon>0,都有

P(∣Xn−X∣>ε)⟶0\mathbb P(|X_n-X|>\varepsilon)\longrightarrow0

依分布收敛则更弱:它只约束各个变量自身的分布律,而不约束变量之间如何耦合。

例如,设 XX 服从参数为 1/21/2 的伯努利分布,并对每一个 nn 令 Xn=1−XX_n=1-X。每个 XnX_n 都与 XX 具有完全相同的分布,因此 Xn⇒XX_n\Rightarrow X。然而,

P(∣Xn−X∣=1)=1,\mathbb P(|X_n-X|=1)=1,

所以 XnX_n 并不依概率收敛于 XX。

一个重要的例外是极限分布集中在某个常数 cc 处的情形:

Xn→dc⟺Xn→pc.X_n\xrightarrow{d}c \quad\Longleftrightarrow\quad X_n\xrightarrow{p}c.

常数可以视为定义在承载 XnX_n 的任意概率空间上的随机变量。

基本例子

中心极限定理

一个主要例子是中心极限定理。若 Y1,Y2,…Y_1,Y_2,\ldots 独立同分布,均值为 mm,方差 σ2\sigma^2 有限且为正,则

∑k=1nYk−nmσn→dZ,Z∼N(0,1).\frac{\sum_{k=1}^nY_k-nm}{\sigma\sqrt n} \xrightarrow{d} Z, \qquad Z\sim N(0,1).

极限的正态分布可以用来近似涉及标准化和的概率。若原来的变量是离散的,则对于每一个有限的 nn,标准化后的和仍是离散的;依分布收敛并不要求逼近分布与极限分布属于同一类型。

泊松极限

设 XnX_n 服从参数为 nn 和 pnp_n 的二项分布,其中

npn⟶λ,0<λ<∞.np_n\longrightarrow\lambda, \qquad 0<\lambda<\infty.

则

Xn→dX,X∼Poisson⁡(λ).X_n\xrightarrow{d}X, \qquad X\sim\operatorname{Poisson}(\lambda).

这表明,当大量独立事件各自发生的概率趋于很小时,其发生次数可以以泊松分布为极限分布。

离散分布趋于连续分布

设 XnX_n 在下列每一点处都赋予概率 1/n1/n:

1n,2n,…,1.\frac1n,\frac2n,\ldots,1.

则 Xn⇒UX_n\Rightarrow U,其中 UU 服从 [0,1][0,1] 上的均匀分布。对于每一个有界连续函数 ff,都有

E[f(Xn)]=1n∑k=1nf(k/n)⟶∫01f(x) dx.\mathbb E[f(X_n)] =\frac1n\sum_{k=1}^n f(k/n) \longrightarrow \int_0^1f(x)\,dx.

然而,若 A=Q∩[0,1]A=\mathbb Q\cap[0,1],则

P(Xn∈A)=1,P(U∈A)=0.\mathbb P(X_n\in A)=1, \qquad \mathbb P(U\in A)=0.

这说明,弱收敛不能保证任意可测集的概率都收敛。

保持收敛性的运算

连续映射定理

连续映射定理指出,若 Xn⇒XX_n\Rightarrow X,且 gg 连续,则

g(Xn)⇒g(X).g(X_n)\Rightarrow g(X).

更一般地,只要可测函数 gg 的不连续点集合在 XX 的分布律下概率为零,就足以得到这一结论。

例如,

Xn⇒Z⟹Xn2⇒Z2.X_n\Rightarrow Z \quad\Longrightarrow\quad X_n^2\Rightarrow Z^2.

对于取倒数映射,相应结论要求极限变量在零点没有概率质量,并需在零点对该映射作适当定义。

斯卢茨基定理

斯卢茨基定理指出,若

Xn⇒X,Yn→pc,X_n\Rightarrow X, \qquad Y_n\xrightarrow{p}c,

其中 cc 为常数,则

Xn+Yn⇒X+c,XnYn⇒cX.X_n+Y_n\Rightarrow X+c, \qquad X_nY_n\Rightarrow cX.

若 c≠0c\ne0,还有

XnYn⇒Xc,\frac{X_n}{Y_n}\Rightarrow\frac{X}{c},

前提是该比值有定义,或者在概率趋于零的事件上为其指定一个值。

这使得在渐近统计中,可以用相合估计值代替未知的尺度参数。

联合收敛是独立的要求

边缘分布的收敛一般并不蕴含联合收敛。设 XX 以相同的概率取值 11 和 −1-1,并定义

Xn=X,Yn=(−1)nX.X_n=X,\qquad Y_n=(-1)^nX.

两个边缘分布都不随 nn 改变,但随机向量 (Xn,Yn)(X_n,Y_n) 在两个不同的联合概率分布之间交替变化。特别地,Xn+YnX_n+Y_n 交替地与 2X2X 同分布或恒等于零。

因此,对多个收敛变量应用连续函数时,一般需要整个向量收敛,而不仅仅是各个坐标的分布分别收敛。

局限性

矩未必收敛

依分布收敛并不蕴含均值、方差或其他涉及无界函数的矩收敛。考虑

Xn={n,with probability 1/n,0,with probability 1−1/n.X_n= \begin{cases} n,&\text{with probability }1/n,\\ 0,&\text{with probability }1-1/n. \end{cases}

此时 Xn→0X_n\to0 依概率成立,因而也依分布成立,但对每一个 nn,都有

E[Xn]=1\mathbb E[X_n]=1

那些罕见的大取值在极限分布中消失了,却仍然对期望值有贡献。要推得期望值收敛,还需要额外的控制条件,例如一致可积性。

密度未必收敛,也未必存在

弱收敛并不蕴含概率密度逐点收敛,极限分布也不一定具有密度。例如,

Xn∼N(0,1/n)X_n\sim N(0,1/n)

依分布收敛于零点处的点质量分布。反过来,在前述离散均匀网格的例子中,尽管任何有限阶段的分布都不存在相对于勒贝格测度的密度,极限分布却是连续分布。

不指定收敛速度

Xn⇒XX_n\Rightarrow X 是一个渐近陈述,并不为某个具体的有限 nn 提供误差界。要得到定量结果,例如分布函数之差的界,需要额外的假设和专门的定理。

紧性与过程极限

度量空间上的一族概率测度称为紧的,如果对每一个 ε>0\varepsilon>0,都存在紧集 KK,使得该族中的每一个测度都赋予 KK 至少 1−ε1-\varepsilon 的概率。

对于完备可分度量空间,普罗霍罗夫定理指出,概率测度的紧性等价于弱收敛意义下的相对紧性:从一个紧的测度族中取出的每个序列,都有一个弱收敛子列。这给出了一种标准的证明策略:先证明紧性,再证明每一个可能的子列极限都具有所需的分布律。

对于随机过程,可以在由整条样本路径构成的空间上研究依分布收敛。该空间上的拓扑是收敛陈述的一部分。仅有所有有限维分布的收敛,一般并不能推出以路径为值的过程弱收敛;还需要适当的紧性条件。

在统计推断中的作用

分布极限描述了统计量的大样本行为。对于估计量 θ^n\widehat\theta_n,一个常见的结果是

n(θ^n−θ)→dN(0,V).\sqrt n(\widehat\theta_n-\theta) \xrightarrow{d}N(0,V).

结合 VV 的相合估计,可以据此构造近似置信区间并进行假设检验。

这一极限针对的是经过中心化和尺度调整的估计误差,并不意味着未经尺度调整的估计量具有非退化的正态极限。事实上,上式中的收敛蕴含 θ^n\widehat\theta_n 依概率收敛于 θ\theta。任何有限样本近似的实用性,仍然取决于统计量的实际分布与其极限分布有多接近。