几乎必然收敛是概率论中的一种收敛方式,指随机变量序列对某个概率为零的集合以外的每个样本点,都收敛到一个极限随机变量。它描述的是沿各条样本实现的收敛,而不仅仅是概率分布向极限附近集中。这一概念在强大数定律、随机过程的收敛定理以及统计方法的渐近分析中具有核心地位。
定义
设 X1,X2,… 和 X 是定义在同一概率空间 (Ω,F,P) 上的实值随机变量。如果
P({ω∈Ω:n→∞limXn(ω)=X(ω)})=1.
则称序列 Xn 几乎必然收敛到 X。
常用记号包括
Xna.s.XandXn⟶Xa.s.
等价地,存在一个可测的零测集 N⊆Ω,使得对每个 ω∈/N,都有
n→∞limXn(ω)=X(ω).
因此,几乎必然收敛就是在一个可忽略的例外集之外逐点收敛。它是几乎处处收敛在概率论中的形式,此时所用测度的总质量为一。几乎必然并不意味着例外集为空:非空集合的概率也可以为零。
同一定义也适用于随机向量,更一般地,还适用于取值于度量空间 (S,d) 的随机元素;只要满足相关的可测性条件,将 ∣Xn−X∣ 替换为 d(Xn,X) 即可。
量词与等价判据
对于实值随机变量,几乎必然收敛意味着:在某个固定的零测集之外,任意给定的误差容限最终都能得到满足:
∀ω∈/N,∀ε>0,∃n0=n0(ω,ε),∀n≥n0,∣Xn(ω)−X(ω)∣<ε.
指标 n0 可以依赖于样本点。因此,即使去掉一个零测集,几乎必然收敛也不意味着在所有其余样本点上一致收敛。
对 ε>0,定义偏差事件
An(ε)={∣Xn−X∣>ε}.
几乎必然收敛等价于:对每个 ε>0,以概率一,大于 ε 的偏差只发生有限次:
P(An(ε) infinitely often)=0.
这里,“发生无穷多次”这一事件为
m=1⋂∞n≥m⋃An(ε).
等价地,
m→∞limP(n≥msup∣Xn−X∣>ε)=0for every ε>0.
只需检验误差容限 ε=1/k、k=1,2,… 即可。通过这种可数化处理,可以将各个误差容限对应的例外集合并为一个零测集。
与其他收敛方式的关系
依概率收敛
几乎必然收敛蕴含依概率收敛:
Xna.s.X⟹P(∣Xn−X∣>ε)⟶0for every ε>0.
二者的区别在于,是控制一条样本实现的整个尾部,还是每次只控制单个指标处的偏差。几乎必然收敛要求几乎每条样本实现最终都保持在极限附近;依概率收敛则允许罕见的偏差沿各条样本实现无限次地反复出现。
逆命题不成立。不过,如果 Xn→X 依概率成立,就存在某个子序列 Xnk 几乎必然收敛到 X。更准确地说,依概率收敛等价于:每个子序列都有一个进一步的子序列几乎必然收敛到 X。
依分布收敛
依概率收敛蕴含依分布收敛,因此几乎必然收敛也蕴含依分布收敛。反向推论通常不成立。
几乎必然收敛取决于这些变量如何共同定义在同一个概率空间上。仅凭各个变量各自的概率分布,无法确定是否几乎必然收敛。
平均收敛
对 p>0,Lp 收敛,也称 p 阶平均收敛,是指
E[∣Xn−X∣p]⟶0.
在没有附加假设的情况下,几乎必然收敛与 Lp 收敛互不蕴含。但二者都蕴含依概率收敛。
几乎必然收敛控制的是各条样本实现的最终行为,却不控制罕见的大值对期望值的贡献。反过来,误差的期望趋于零,也未必能阻止几乎每条样本实现上出现无穷多次偏差。
控制收敛定理为二者提供了一座重要的桥梁。如果 Xn→X 几乎必然成立,且
∣Xn∣≤Yalmost surely for every n,E[Yp]<∞,
那么 E[∣Xn−X∣p]→0。
例子与反例
零测集之外的逐点收敛
取 Ω=[0,1],赋予其勒贝格测度作为概率测度,并令
Xn(ω)=ωn.
对每个 0≤ω<1,都有 Xn(ω)→0,而对每个 n,都有 Xn(1)=1。由于单点集 {1} 的概率为零,
Xna.s.0.
这个例子说明,几乎必然收敛到某个指定的随机变量,与在每个样本点都收敛到该随机变量,并不相同。
依概率收敛但不几乎必然收敛
在赋予勒贝格概率测度的 [0,1) 上,定义打字机序列:
X2k+j(ω)=1[j2−k,(j+1)2−k)(ω),k≥0,0≤j<2k,
其中 1A 是 A 的示性函数。
在第 k 组中,这些区间构成 [0,1) 的一个划分,每个区间的概率均为 2−k。因此,Xn→0 依概率成立。事实上,对每个固定的 p>0,都有
E[∣X2k+j∣p]=2−k,
所以该序列也在 Lp 中收敛。
然而,对每个固定的样本点,每组中恰有一个变量取值为 1,其余变量均取值为 0。因此,每条样本实现都会无穷多次地取到这两个值,序列在任何点都不收敛。
几乎必然收敛但期望不收敛
仍在 [0,1] 上使用勒贝格概率测度,并令
Xn(ω)=n1(0,1/n)(ω).
对每个 ω>0,最终都有 ω∈/(0,1/n),并且 Xn(0)=0。所以 Xn→0 处处成立。然而,对所有 n,都有
E[Xn]=1
在越来越小的集合上出现的越来越大的取值,阻止了 L1 收敛。
证明方法
博雷尔—坎泰利引理
博雷尔—坎泰利引理是证明或否定几乎必然收敛的常用工具。第一引理表明,如果
n=1∑∞P(∣Xn−X∣>ε)<∞for every ε>0,
那么 Xn→X 几乎必然成立。这里不需要独立性假设。
这一可求和条件是充分条件,但不是必要条件。当偏差事件之间具有适当的依赖关系时,即使偏差概率之和发散,也仍然可能几乎必然收敛。
反过来,如果对某个固定的 ε>0,相应的偏差事件相互独立,且其概率之和发散,那么第二博雷尔—坎泰利引理表明,这些偏差几乎必然会发生无穷多次。因此,序列不可能几乎必然收敛到 X。
矩估计
概率不等式常常可以将几乎必然收敛的问题归结为矩的可求和性。例如,切比雪夫不等式给出
P(∣Xn−X∣>ε)≤ε2E[∣Xn−X∣2].
因此,
n=1∑∞E[∣Xn−X∣2]<∞
蕴含几乎必然收敛。当无法直接得到可求和性时,可以先证明某个稀疏子序列收敛,再利用极大不等式或单调性控制其间的各项。
应用与结构性质
强大数定律与统计相合性
强大数定律指出,对于满足 E[∣Y1∣]<∞ 的独立同分布实值随机变量 Y1,Y2,…,有
n1i=1∑nYia.s.E[Y1].
它从样本路径的角度,为样本均值的稳定以及许多蒙特卡洛方法提供了理论基础。
如果一个估计量几乎必然收敛到所估计的参数,就称其具有强相合性。这一要求强于相合估计量通常所要求的依概率收敛。
随机过程与连续变换
在随机过程理论中,几乎必然收敛描述了样本路径的长期行为。例如,非负离散时间鞅几乎必然收敛到一个有限极限。若要得到 L1 收敛,或使极限的期望保持不变,还需要附加条件。
连续变换保持几乎必然收敛。如果 Xn→X 几乎必然成立,且 f 是连续函数,那么
f(Xn)a.s.f(X).
当相关序列都几乎必然收敛时,有限次求和与乘积运算也保持几乎必然收敛。
唯一性与例外集
几乎必然极限在几乎必然相等的意义下是唯一的。如果 Xn→X 几乎必然成立,且 Xn→Y 也几乎必然成立,那么
P(X=Y)=1.
在零测集上修改各个变量,不会影响几乎必然收敛,因为可数序列所对应的例外集之并仍是零测集。
可数性对这一论证至关重要。对于不可数族,即使某个性质在每个固定指标处都几乎必然成立,也未必存在一个概率为一的事件,使该性质在所有指标处同时成立。对于以连续时间为指标的过程,这一区别尤为重要。