全概率公式是概率论中的一条定理,它将事件的概率表示为该事件在不同条件下的概率的加权和。当这些条件构成互斥且穷尽的各类情形时,每个条件概率的权重就是对应情形的概率。这一公式提供了一种间接计算概率的基本方法,是贝叶斯定理中分母的计算依据,也可以推广为对连续变化的条件进行积分的形式。
定理表述
设 (Ω,F,P) 为一个概率空间,A 为一个事件。假设 B1,…,Bn 是可测事件,构成样本空间的一个集合划分:
Bi∩Bj=∅for i=j,i=1⋃nBi=Ω.
如果对每个 i 都有 P(Bi)>0,那么
P(A)=i=1∑nP(A∣Bi)P(Bi)
其中,P(A∣Bi) 表示在 Bi 发生的条件下,A 发生的条件概率。
同样的公式也适用于可数无穷划分:
P(A)=i=1∑∞P(A∣Bi)P(Bi).
各项均非负,该级数收敛于 [0,1] 内的一个值。这些情形也可以仅覆盖样本空间中除某个零概率事件以外的部分;结果仍然不变。
一个不要求划分中各事件的概率为正的等价表述是
P(A)=i∑P(A∩Bi).
如果某个 Bi 的概率为零,那么它与 A 的交集的概率也为零。在条件概率形式的公式中,可以省略这样的项,而不必尝试定义比值 P(A∩Bi)/P(Bi)。
两种情形的形式
一个常见的特例是使用事件 B 及其补事件 Bc。当 0<P(B)<1 时,
P(A)=P(A∣B)P(B)+P(A∣Bc)P(Bc).
这将计算分为两种可能情形:B 发生,或 B 不发生。
证明与解释
由于划分中的事件互斥且穷尽,
A=i⋃(A∩Bi),
且事件 A∩Bi 两两互斥。因此,由可数可加性可得
P(A)=i∑P(A∩Bi).
根据条件概率的定义,只要 P(Bi)>0,就有
P(A∩Bi)=P(A∣Bi)P(Bi)
代入即得所要证明的公式。
因此,全概率公式是概率公理和条件概率定义的推论,而不是对模型作出的额外假设。
对于有限划分,该公式将 P(A) 表示为各条件概率的一个凸组合:权重 P(Bi) 均非负,且总和为一。因此,
iminP(A∣Bi)≤P(A)≤imaxP(A∣Bi).
权重至关重要。除非各类情形等可能发生,否则直接对条件概率取普通算术平均通常是错误的。
这里不需要任何统计独立性假设。如果 A 与划分中的每个事件都独立,那么对于每个概率为正的情形,都有 P(A∣Bi)=P(A),公式便化为
P(A)=P(A)i∑P(Bi).
示例:多家工厂供货
假设某经销商从三家工厂进货:
| 工厂 |
供货占比 |
次品概率 |
| 1 |
0.50 |
0.01 |
| 2 |
0.30 |
0.02 |
| 3 |
0.20 |
0.04 |
令 D 表示随机抽取的一件产品为次品这一事件,Bi 表示该产品来自第 i 家工厂。那么
P(D)=P(D∣B1)P(B1)+P(D∣B2)P(B2)+P(D∣B3)P(B3)=(0.01)(0.50)+(0.02)(0.30)+(0.04)(0.20)=0.019.
因此,总体次品概率为 1.9%。三家工厂次品率的未加权平均值约为 2.33%,但这种计算忽略了各工厂在经销商货源中所占比例的差异。
应采用的权重取决于抽样方式。等概率地选择一家工厂,再从该工厂的产品中抽取一件,与从经销商的库存中等概率地抽取一件产品,是两种不同的试验。
条件形式
全概率公式本身也可以在给定某个条件事件的情况下使用。如果 P(C)>0,那么
P(A∣C)=i∑P(A∣Bi∩C)P(Bi∣C),
其中省略满足 P(Bi∩C)=0 的项。
这就是将通常的全概率公式应用于概率测度 P(⋅∣C)。各类情形的概率,以及各情形内部的概率,都必须在给定额外信息 C 的条件下计算。一般而言,不能用无条件权重 P(Bi) 替代 P(Bi∣C)。
随机变量形式与连续形式
以离散随机变量为条件
如果随机变量 X 只取有限个或可数个值,则事件 {X=x} 构成一个划分。因此,
P(A)=x:P(X=x)>0∑P(A∣X=x)P(X=x).
当各类情形由计数、类别、状态或未观测变量的取值确定时,这一表述尤其有用。
以连续随机变量为条件
如果 X 具有概率密度函数 fX,则相应的表达式为
P(A)=∫RP(A∣X=x)fX(x)dx,
其中 P(A∣X=x) 通过适当选取的条件概率版本来解释。
对于服从连续分布的 X,每个单独事件 {X=x} 的概率都为零。因此,该积分中的条件概率一般不能用初等定义中的比值
P(X=x)P(A∩{X=x}).
来定义。
相反,它需要借助条件分布或条件期望来定义。在标准的正则性条件下,包括通常的实值情形,适当的条件分布是存在的。它们的取值只需对 PX-几乎处处的 x 作出规定,其中 PX 是 X 的概率分布。
更一般的积分形式为
P(A)=∫P(A∣X=x)PX(dx).
这一表述也涵盖离散分布和混合分布。
边际分布
将全概率公式应用于涉及另一个随机变量 Y 的事件,可以得到边际化公式。如果 X 和 Y 具有联合概率密度,且 fY∣X 是与之相容的条件密度,那么
fY(y)=∫RfY∣X(y∣x)fX(x)dx
对几乎处处的 y 成立。
因此,通过对辅助变量的可能取值求和或积分来消去该变量,就是全概率公式在分布层面的体现。
与条件期望的联系
最一般的表述使用条件期望。对于子σ代数 G⊆F,定义
P(A∣G)=E[1A∣G],
其中 1A 是 A 的示性函数。于是
P(A)=E[P(A∣G)].
这是将迭代期望定律应用于示性函数所得的结果。更一般地,对于任意可积随机变量 Y,有
E[Y]=E[E[Y∣G]].
当 G 由有限或可数划分生成时,条件概率在划分中每个概率为正的事件上均为常数,期望便化为熟悉的加权和。这将全概率公式与更广泛的期望值理论联系起来,同时不要求条件事件具有正概率。
应用
贝叶斯推断
对于构成一个划分的假设 Bi,贝叶斯定理可写为
P(Bk∣A)=∑iP(A∣Bi)P(Bi)P(A∣Bk)P(Bk),P(A)>0.
全概率公式给出了分母,用于对更新后的概率进行归一化。
在贝叶斯推断中,相应的连续运算是对似然按先验分布进行积分。所得的边际似然为
p(y)=∫p(y∣θ)π(dθ),
其中 π 是先验概率测度。
混合分布
在含有潜在类别变量 Z 的模型中,观测值的分布通过对各类别对应的分布加权平均得到:
P(Y∈A)=k∑P(Y∈A∣Z=k)P(Z=k).
对于高斯混合模型,由此得到的是正态密度的加权和。分量标签确定了划分,而混合权重则给出了划分中各事件的概率。
马尔可夫链
对于离散状态马尔可夫链,以中间时刻的状态为条件,可得
P(Xn+m=j∣X0=i)=k∑P(Xn+m=j∣Xn=k)P(Xn=k∣X0=i),
这里要求相关条件事件的概率为正。第一个条件概率的简化使用了马尔可夫性质;对中间状态求和则使用了全概率公式。对于时间齐次链,由此可得到查普曼—柯尔莫哥洛夫方程。
适用条件与常见错误
- 情形重叠会造成重复计算。 简单求和的形式要求各类情形互斥。对于相互重叠的事件,必须先将其改写为适当的划分,或使用其他恒等式处理。
- 情形不完整会遗漏概率。 如果所选情形未能覆盖样本空间中除零概率事件以外的全部部分,就需要补上剩余情形。
- 条件概率必须加权。 仅将 P(A∣Bi) 相加,一般不能得到 P(A)。
- 以零概率事件为条件时须谨慎。 当条件事件的概率为零时,初等定义下的条件概率没有定义;连续条件化需要更一般的构造。
- 不可数划分需要使用积分。 可数可加性不能作为对单个结果作不可数求和的依据。尤其是,将概率为零的单点事件相加,并不是计算连续概率的有效方法。
- 条件化不等于干预。 该公式讨论的是观测条件概率。其中各项本身并不能描述改变或干预条件变量所产生的效果;这一区别属于因果推断的研究范畴。