切比雪夫不等式是概率论中的一个定理,用于给出随机变量远离其均值的概率上界。它只要求方差有限,而不需要知道完整的概率分布。因此,它适用于离散分布、连续分布和混合分布,无须假设分布具有对称性或服从正态分布。(ocw.mit.edu)
定理陈述与解释
设 是一个实值随机变量,其期望值为 ,且方差有限:
对于任意 ,都有
由于概率不能超过 1,这个上界也可以写成
因此,较小的方差限制了随机变量大幅偏离均值的概率。(ocw.mit.edu)
当 时,以标准差为单位表示阈值,可得对于任意 ,
等价地,
例如,随机变量与均值的距离严格小于两个标准差的概率至少为 ;距离严格小于三个标准差的概率至少为 ,约为 。这些是能够保证的概率下界,而不是精确概率。当 时,这一标准化形式的界限并不能提供超出通常概率范围的任何信息。(stat.berkeley.edu)
严格不等号与非严格不等号区分了中心区间及其补集:事件 包含边界,而事件 不包含边界。若 ,则 几乎必然成立,因此发生任何正幅度偏离的概率均为零。若方差为无穷大,通常形式的上界就无法提供有用信息。(doi.org)
证明
该不等式可由马尔可夫不等式推出。马尔可夫不等式指出,非负随机变量 满足
取 、,应用该不等式可得:
这一证明说明了为什么无须对分布的形状作任何假设:论证只用到了偏差平方的非负性及其期望有限这两个条件。(ocw.mit.edu)
最优性与局限
这个上界是最优的:在没有额外假设的情况下,其中的常数无法减小。对于任意 和 ,考虑以下分布:
直接计算可得,其均值为 ,方差为 ,并且
这个分布使不等式取等号;当 时,均值处的概率质量为零。(doi.org)
最优性并不意味着这个上界对每一种分布都接近实际概率。对于正态分布,落在均值两侧三个标准差范围内的概率约为 ,远高于切比雪夫不等式所保证的 。当掌握额外信息时,例如随机变量有界,或独立随机变量之和满足适当假设,就可以得到更强的尾概率界。(stat.berkeley.edu)
样本均值与大数定律
假设 是具有统计独立性且同分布的随机变量,均值为 ,有限方差为 。它们的样本均值
的均值为 ,方差为 。因此,切比雪夫不等式给出
对于固定的 ,右侧随 增大而趋于零。这证明了样本均值依概率收敛于 ,从而在方差有限的假设下确立了弱大数定律。(stat.berkeley.edu)
同一公式还提供了有限样本下的保证:若要使误差至少为 的概率不超过 (其中 ),一个充分条件是
这是一个充分的、可能偏保守的样本量界限,而不是精确的样本量要求。(stat.berkeley.edu)
参考来源
- Theory of Probability, Lecture Slide 8ocw.mit.edu
- The Normal Curve, the Central Limit Theorem, and Markov's and Chebychev's Inequalities for Random Variablesstat.berkeley.edu
- Chapter 8. Law of Large Numbersstat.berkeley.edu
- MITOCW: 18.226 Markov, Chebyshev, and Chernoffocw.mit.edu
- Sharp inequalities of Bienaymé–Chebyshev and Gauß type for possibly asymmetric intervals around the meandoi.org
- 856 Lecture Notescourses.csail.mit.edu