马尔可夫不等式是概率论中的一项基本结果:对于非负随机变量 X 和任意正数 a,有
P(X≥a)≤aE[X].
它仅利用期望值就能给出上尾概率的界,而不要求变量服从特定的概率分布,也不要求方差有限。该不等式以安德烈·马尔可夫的名字命名,是推导更精细的概率界和证明收敛性结论的基本工具。
表述与假设
设 X 是概率空间上的可测随机变量,且几乎必然满足 X≥0。若 E[X]<∞,则对任意 a>0,有
P(X≥a)≤min{1,aE[X]}.
与 1 取最小值,是为了明确体现概率不能超过 1。通常的表述会省略这一点,因为核心的上界是 E[X]/a。当 a>E[X] 时,该上界严格小于 1;当 a≤E[X] 时,它并不比通用上界 1 更好。
若 X 的期望为无穷大,该不等式在扩展实数意义下仍然成立,但无法给出有用的有限上界。若 E[X]=0,则由非负性可知,X=0 几乎必然成立。
当均值 μ 为正时,一个等价形式为
P(X≥kμ)≤k1,k>0.
因此,一个非负量达到其均值十倍或以上的概率不超过十分之一。
该不等式对严格不等式定义的事件 X>a 也成立,不过,在讨论等号成立条件时,严格阈值与非严格阈值之间的区别很重要。
证明与解释
证明源于与示性函数的逐点比较:
X≥a1{X≥a}.
在事件 X≥a 上,右端等于 a,不大于 X。在该事件之外,右端为零,由非负性可知它也不大于 X。
两边取期望,得
E[X]≥aE[1{X≥a}]=aP(X≥a).
再除以 a>0,即得结论。
其基本原理是:事件 X≥a 中的每个结果,对期望的贡献都至少为其概率权重乘以 a。因此,这些结果的总概率受到均值大小的限制。
证明不涉及任何统计独立性假设,对离散分布、连续分布和混合分布同样适用。
最优性与等号成立条件
马尔可夫不等式是最优的:如果没有关于分布的额外信息,一般无法改进它给出的界。
对于固定阈值 a>0 和给定均值 0≤μ≤a,考虑
X={a,0,with probability μ/a,with probability 1−μ/a.
则
E[X]=μ,P(X≥a)=aμ,
因此等号成立。
更一般地,对于可积的非负随机变量 X,等式
P(X≥a)=aE[X]
成立,当且仅当除去一个概率为零的事件后,X 仅在 {0,a} 中取值。这是因为
X−a1{X≥a}
非负,且其期望必须为零。
若 μ>a,最优的通用上界为 1,常值随机变量 X=μ 即可达到该上界。因此,
X≥0E[X]=μsupP(X≥a)=min{1,aμ}.
最优性并不意味着对每一种分布,该上界都接近实际概率。它指的是,存在某个满足条件的分布能够达到这个上界。
推广
绝对矩
对于任意实值随机变量 Y、任意 p>0 和任意 a>0,将马尔可夫不等式应用于 ∣Y∣p,可得
P(∣Y∣≥a)≤apE[∣Y∣p],
前提是右端的矩有限。
这就将对绝对矩的控制转化为对尾概率的控制。以常数 c 为中心,可得
P(∣Y−c∣≥a)≤apE[∣Y−c∣p].
单调递增变换
设 g 是非负、单调不减的可测函数,且 g(a)>0。由于
{Y≥a}⊆{g(Y)≥g(a)},
由马尔可夫不等式可得
P(Y≥a)≤g(a)E[g(Y)].
该变换在 Y 的所有取值上都必须非负,而且变换后的期望必须有限,所得上界才有实际意义。幂函数和指数函数给出了特别有用的例子。
测度论形式
在测度论中,若 f 是测度空间 (S,F,ν) 上的非负可测函数,则
ν({s:f(s)≥a})≤a1∫Sfdν,a>0.
这里的测度不必是概率测度。在数学分析中,这一形式也常被称为切比雪夫不等式。
条件形式
对于非负可积随机变量 X 和一个子σ代数 G,有
P(X≥a∣G)≤aE[X∣G]almost surely.
这里的条件概率是事件示性函数的条件期望。证明使用同样的逐点比较,以及条件期望的单调性。
与其他概率不等式的关系
切比雪夫不等式
设 Y 的均值为 μ,且具有有限的方差 σ2。将马尔可夫不等式应用于非负变量 (Y−μ)2,可得
P(∣Y−μ∣≥a)=P((Y−μ)2≥a2)≤a2σ2.
这就是切比雪夫不等式。它通过二阶中心矩控制偏离均值的概率,而基本的马尔可夫界则通过一阶矩控制非负变量的尾概率。
指数界
当 t>0 时,指数函数为正且单调递增。将马尔可夫不等式应用于 etY,可得
P(Y≥a)≤e−taE[etY].
在满足条件的正数 t 中进行优化,可得
P(Y≥a)≤t>0E[etY]<∞infe−taE[etY].
这就是切尔诺夫界所依据的指数马尔可夫方法。
若 Y=∑i=1nYi,且各求和项相互独立,则在这些期望有限时,有
E[etY]=i=1∏nE[etYi],
这种乘积分解常常使指数界比直接对总和应用原始不等式所得的界强得多。
应用
由矩的界推导收敛性
若序列 Xn 对某个 p>0 满足
E[∣Xn−X∣p]⟶0
则对任意 ε>0,有
P(∣Xn−X∣≥ε)≤εpE[∣Xn−X∣p]⟶0.
因此,某个正阶绝对矩意义下的收敛蕴含依概率收敛。
对于均值为 μ、方差为有限值 σ2 的独立同分布随机变量,其样本均值 Xn 的方差为 σ2/n。因此,平方偏差形式的不等式给出
P(∣Xn−μ∣≥ε)≤nε2σ2,
从而证明了有限方差情形下的弱大数定律。
运行时间与计数论证
若非负运行时间 T 的期望有限,则
P(T≥cE[T])≤c1,c>1.
这可以将算法的期望运行时间保证转化为尾概率保证,不过所得保证往往较为保守。
若 N 统计不希望发生的事件的数量,则 N 是非负整数,且
P(N≥1)≤E[N].
对于有限个事件 A1,…,An,令
N=i=1∑n1Ai
可得
P(i=1⋃nAi)≤i=1∑nP(Ai).
因此,由马尔可夫不等式和期望的线性性可以直接推出并集界,无须假设独立性。
局限与常见误用
非负性至关重要。可取正负值的随机变量可能由于较大的正值与负值相互抵消而具有很小的均值。例如,若 Y 分别以 1/2 的概率取值 100 和 −100,则 E[Y]=0,但
P(Y≥50)=21.
若将 Y 代入适用于非负变量的公式,就会错误地得到零这一上界。正确的替代方法包括:对 ∣Y∣、∣Y∣ 的正数次幂,或对 Y 进行平移后已知非负的变量应用该不等式。
该不等式给出的是上界,而不是实际概率的估计。若 X=1 几乎必然成立,则
P(X≥10)=0,
而马尔可夫不等式只能给出上界 1/10。
最后,仅有有限一阶矩,既不能保证存在通用的指数衰减尾界,也不能推出二阶矩有限。更强的界需要额外信息,例如有界支撑集、更高阶矩、有限指数矩,或关于随机变量之和的结构性假设。