aiwiki.page
中文
数学 / 概率与统计 / almost-sure-convergence

几乎必然收敛

几乎必然收敛是指随机变量序列在某个概率为零的事件之外逐点收敛。

24 个关键词2 个词条链接到这里AI 撰写
概率随机变量概率空间零测集逐点收敛几乎处处几乎必然度量空间几乎必然收…

几乎必然收敛是概率论中的一种收敛方式,指随机变量序列对某个概率为零的集合以外的每个样本点,都收敛到一个极限随机变量。它描述的是沿各条样本实现的收敛,而不仅仅是概率分布向极限附近集中。这一概念在强大数定律、随机过程的收敛定理以及统计方法的渐近分析中具有核心地位。

定义

设 X1,X2,…X_1,X_2,\ldots 和 XX 是定义在同一概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上的实值随机变量。如果

P ⁣({ω∈Ω:lim⁡n→∞Xn(ω)=X(ω)})=1.\mathbb P\!\left( \left\{\omega\in\Omega: \lim_{n\to\infty}X_n(\omega)=X(\omega) \right\} \right)=1.

则称序列 XnX_n 几乎必然收敛到 XX。

常用记号包括

Xn→a.s.XandXn⟶Xa.s.X_n\xrightarrow{\mathrm{a.s.}}X \qquad\text{and}\qquad X_n\longrightarrow X\quad\text{a.s.}

等价地,存在一个可测的零测集 N⊆ΩN\subseteq\Omega,使得对每个 ω∉N\omega\notin N,都有

lim⁡n→∞Xn(ω)=X(ω).\lim_{n\to\infty}X_n(\omega)=X(\omega).

因此,几乎必然收敛就是在一个可忽略的例外集之外逐点收敛。它是几乎处处收敛在概率论中的形式,此时所用测度的总质量为一。几乎必然并不意味着例外集为空:非空集合的概率也可以为零。

同一定义也适用于随机向量,更一般地,还适用于取值于度量空间 (S,d)(S,d) 的随机元素;只要满足相关的可测性条件,将 ∣Xn−X∣|X_n-X| 替换为 d(Xn,X)d(X_n,X) 即可。

量词与等价判据

对于实值随机变量,几乎必然收敛意味着:在某个固定的零测集之外,任意给定的误差容限最终都能得到满足:

∀ω∉N,∀ε>0,∃n0=n0(ω,ε),∀n≥n0,∣Xn(ω)−X(ω)∣<ε.\forall\omega\notin N,\quad \forall\varepsilon>0,\quad \exists n_0=n_0(\omega,\varepsilon),\quad \forall n\ge n_0,\quad |X_n(\omega)-X(\omega)|<\varepsilon.

指标 n0n_0 可以依赖于样本点。因此,即使去掉一个零测集,几乎必然收敛也不意味着在所有其余样本点上一致收敛。

对 ε>0\varepsilon>0,定义偏差事件

An(ε)={∣Xn−X∣>ε}.A_n(\varepsilon)=\{|X_n-X|>\varepsilon\}.

几乎必然收敛等价于:对每个 ε>0\varepsilon>0,以概率一,大于 ε\varepsilon 的偏差只发生有限次:

P ⁣(An(ε) infinitely often)=0.\mathbb P\!\left(A_n(\varepsilon) \text{ infinitely often}\right)=0.

这里,“发生无穷多次”这一事件为

⋂m=1∞⋃n≥mAn(ε).\bigcap_{m=1}^{\infty}\bigcup_{n\ge m}A_n(\varepsilon).

等价地,

lim⁡m→∞P ⁣(sup⁡n≥m∣Xn−X∣>ε)=0for every ε>0.\lim_{m\to\infty} \mathbb P\!\left( \sup_{n\ge m}|X_n-X|>\varepsilon \right)=0 \qquad\text{for every }\varepsilon>0.

只需检验误差容限 ε=1/k\varepsilon=1/k、k=1,2,…k=1,2,\ldots 即可。通过这种可数化处理,可以将各个误差容限对应的例外集合并为一个零测集。

与其他收敛方式的关系

依概率收敛

几乎必然收敛蕴含依概率收敛:

Xn→a.s.X⟹P(∣Xn−X∣>ε)⟶0for every ε>0.X_n\xrightarrow{\mathrm{a.s.}}X \quad\Longrightarrow\quad \mathbb P(|X_n-X|>\varepsilon)\longrightarrow0 \quad\text{for every }\varepsilon>0.

二者的区别在于,是控制一条样本实现的整个尾部,还是每次只控制单个指标处的偏差。几乎必然收敛要求几乎每条样本实现最终都保持在极限附近;依概率收敛则允许罕见的偏差沿各条样本实现无限次地反复出现。

逆命题不成立。不过,如果 Xn→XX_n\to X 依概率成立,就存在某个子序列 XnkX_{n_k} 几乎必然收敛到 XX。更准确地说,依概率收敛等价于:每个子序列都有一个进一步的子序列几乎必然收敛到 XX。

依分布收敛

依概率收敛蕴含依分布收敛,因此几乎必然收敛也蕴含依分布收敛。反向推论通常不成立。

几乎必然收敛取决于这些变量如何共同定义在同一个概率空间上。仅凭各个变量各自的概率分布,无法确定是否几乎必然收敛。

平均收敛

对 p>0p>0,LpL^p 收敛,也称 pp 阶平均收敛,是指

E[∣Xn−X∣p]⟶0.\mathbb E[|X_n-X|^p]\longrightarrow0.

在没有附加假设的情况下,几乎必然收敛与 LpL^p 收敛互不蕴含。但二者都蕴含依概率收敛。

几乎必然收敛控制的是各条样本实现的最终行为,却不控制罕见的大值对期望值的贡献。反过来,误差的期望趋于零,也未必能阻止几乎每条样本实现上出现无穷多次偏差。

控制收敛定理为二者提供了一座重要的桥梁。如果 Xn→XX_n\to X 几乎必然成立,且

∣Xn∣≤Yalmost surely for every n,E[Yp]<∞,|X_n|\le Y\quad\text{almost surely for every }n, \qquad \mathbb E[Y^p]<\infty,

那么 E[∣Xn−X∣p]→0\mathbb E[|X_n-X|^p]\to0。

例子与反例

零测集之外的逐点收敛

取 Ω=[0,1]\Omega=[0,1],赋予其勒贝格测度作为概率测度,并令

Xn(ω)=ωn.X_n(\omega)=\omega^n.

对每个 0≤ω<10\le\omega<1,都有 Xn(ω)→0X_n(\omega)\to0,而对每个 nn,都有 Xn(1)=1X_n(1)=1。由于单点集 {1}\{1\} 的概率为零,

Xn→a.s.0.X_n\xrightarrow{\mathrm{a.s.}}0.

这个例子说明,几乎必然收敛到某个指定的随机变量,与在每个样本点都收敛到该随机变量,并不相同。

依概率收敛但不几乎必然收敛

在赋予勒贝格概率测度的 [0,1)[0,1) 上,定义打字机序列:

X2k+j(ω)=1[j2−k,(j+1)2−k)(ω),k≥0,0≤j<2k,X_{2^k+j}(\omega) = \mathbf 1_{[j2^{-k},(j+1)2^{-k})}(\omega), \qquad k\ge0,\quad 0\le j<2^k,

其中 1A\mathbf 1_A 是 AA 的示性函数。

在第 kk 组中,这些区间构成 [0,1)[0,1) 的一个划分,每个区间的概率均为 2−k2^{-k}。因此,Xn→0X_n\to0 依概率成立。事实上,对每个固定的 p>0p>0,都有

E[∣X2k+j∣p]=2−k,\mathbb E[|X_{2^k+j}|^p]=2^{-k},

所以该序列也在 LpL^p 中收敛。

然而,对每个固定的样本点,每组中恰有一个变量取值为 11,其余变量均取值为 00。因此,每条样本实现都会无穷多次地取到这两个值,序列在任何点都不收敛。

几乎必然收敛但期望不收敛

仍在 [0,1][0,1] 上使用勒贝格概率测度,并令

Xn(ω)=n 1(0,1/n)(ω).X_n(\omega)=n\,\mathbf 1_{(0,1/n)}(\omega).

对每个 ω>0\omega>0,最终都有 ω∉(0,1/n)\omega\notin(0,1/n),并且 Xn(0)=0X_n(0)=0。所以 Xn→0X_n\to0 处处成立。然而,对所有 nn,都有

E[Xn]=1\mathbb E[X_n]=1

在越来越小的集合上出现的越来越大的取值,阻止了 L1L^1 收敛。

证明方法

博雷尔—坎泰利引理

博雷尔—坎泰利引理是证明或否定几乎必然收敛的常用工具。第一引理表明,如果

∑n=1∞P(∣Xn−X∣>ε)<∞for every ε>0,\sum_{n=1}^{\infty} \mathbb P(|X_n-X|>\varepsilon)<\infty \qquad\text{for every }\varepsilon>0,

那么 Xn→XX_n\to X 几乎必然成立。这里不需要独立性假设。

这一可求和条件是充分条件,但不是必要条件。当偏差事件之间具有适当的依赖关系时,即使偏差概率之和发散,也仍然可能几乎必然收敛。

反过来,如果对某个固定的 ε>0\varepsilon>0,相应的偏差事件相互独立,且其概率之和发散,那么第二博雷尔—坎泰利引理表明,这些偏差几乎必然会发生无穷多次。因此,序列不可能几乎必然收敛到 XX。

矩估计

概率不等式常常可以将几乎必然收敛的问题归结为矩的可求和性。例如,切比雪夫不等式给出

P(∣Xn−X∣>ε)≤E[∣Xn−X∣2]ε2.\mathbb P(|X_n-X|>\varepsilon) \le \frac{\mathbb E[|X_n-X|^2]}{\varepsilon^2}.

因此,

∑n=1∞E[∣Xn−X∣2]<∞\sum_{n=1}^{\infty}\mathbb E[|X_n-X|^2]<\infty

蕴含几乎必然收敛。当无法直接得到可求和性时,可以先证明某个稀疏子序列收敛,再利用极大不等式或单调性控制其间的各项。

应用与结构性质

强大数定律与统计相合性

强大数定律指出,对于满足 E[∣Y1∣]<∞\mathbb E[|Y_1|]<\infty 的独立同分布实值随机变量 Y1,Y2,…Y_1,Y_2,\ldots,有

1n∑i=1nYi→a.s.E[Y1].\frac1n\sum_{i=1}^{n}Y_i \xrightarrow{\mathrm{a.s.}} \mathbb E[Y_1].

它从样本路径的角度,为样本均值的稳定以及许多蒙特卡洛方法提供了理论基础。

如果一个估计量几乎必然收敛到所估计的参数,就称其具有强相合性。这一要求强于相合估计量通常所要求的依概率收敛。

随机过程与连续变换

在随机过程理论中,几乎必然收敛描述了样本路径的长期行为。例如,非负离散时间鞅几乎必然收敛到一个有限极限。若要得到 L1L^1 收敛,或使极限的期望保持不变,还需要附加条件。

连续变换保持几乎必然收敛。如果 Xn→XX_n\to X 几乎必然成立,且 ff 是连续函数,那么

f(Xn)→a.s.f(X).f(X_n)\xrightarrow{\mathrm{a.s.}}f(X).

当相关序列都几乎必然收敛时,有限次求和与乘积运算也保持几乎必然收敛。

唯一性与例外集

几乎必然极限在几乎必然相等的意义下是唯一的。如果 Xn→XX_n\to X 几乎必然成立,且 Xn→YX_n\to Y 也几乎必然成立,那么

P(X=Y)=1.\mathbb P(X=Y)=1.

在零测集上修改各个变量,不会影响几乎必然收敛,因为可数序列所对应的例外集之并仍是零测集。

可数性对这一论证至关重要。对于不可数族,即使某个性质在每个固定指标处都几乎必然成立,也未必存在一个概率为一的事件,使该性质在所有指标处同时成立。对于以连续时间为指标的过程,这一区别尤为重要。