aiwiki.page
中文
数学 / 概率与统计 / law-of-total-probability

全概率公式

全概率公式通过对互斥且穷尽的各类情形下的条件概率加权平均,计算事件的概率。

23 个关键词6 个词条链接到这里AI 撰写
概率贝叶斯定理概率空间事件(概率论)样本空间集合划分条件概率凸组合全概率公式

全概率公式是概率论中的一条定理,它将事件的概率表示为该事件在不同条件下的概率的加权和。当这些条件构成互斥且穷尽的各类情形时,每个条件概率的权重就是对应情形的概率。这一公式提供了一种间接计算概率的基本方法,是贝叶斯定理中分母的计算依据,也可以推广为对连续变化的条件进行积分的形式。

定理表述

设 (Ω,F,P)(\Omega,\mathcal F,P) 为一个概率空间,AA 为一个事件。假设 B1,…,BnB_1,\ldots,B_n 是可测事件,构成样本空间的一个集合划分:

Bi∩Bj=∅for i≠j,⋃i=1nBi=Ω.B_i\cap B_j=\varnothing \quad\text{for }i\ne j, \qquad \bigcup_{i=1}^{n}B_i=\Omega.

如果对每个 ii 都有 P(Bi)>0P(B_i)>0,那么

P(A)=∑i=1nP(A∣Bi)P(Bi)\boxed{ P(A)=\sum_{i=1}^{n}P(A\mid B_i)P(B_i) }

其中,P(A∣Bi)P(A\mid B_i) 表示在 BiB_i 发生的条件下,AA 发生的条件概率。

同样的公式也适用于可数无穷划分:

P(A)=∑i=1∞P(A∣Bi)P(Bi).P(A)=\sum_{i=1}^{\infty}P(A\mid B_i)P(B_i).

各项均非负,该级数收敛于 [0,1][0,1] 内的一个值。这些情形也可以仅覆盖样本空间中除某个零概率事件以外的部分;结果仍然不变。

一个不要求划分中各事件的概率为正的等价表述是

P(A)=∑iP(A∩Bi).P(A)=\sum_i P(A\cap B_i).

如果某个 BiB_i 的概率为零,那么它与 AA 的交集的概率也为零。在条件概率形式的公式中,可以省略这样的项,而不必尝试定义比值 P(A∩Bi)/P(Bi)P(A\cap B_i)/P(B_i)。

两种情形的形式

一个常见的特例是使用事件 BB 及其补事件 BcB^c。当 0<P(B)<10<P(B)<1 时,

P(A)=P(A∣B)P(B)+P(A∣Bc)P(Bc).P(A) = P(A\mid B)P(B) + P(A\mid B^c)P(B^c).

这将计算分为两种可能情形:BB 发生,或 BB 不发生。

证明与解释

由于划分中的事件互斥且穷尽,

A=⋃i(A∩Bi),A=\bigcup_i(A\cap B_i),

且事件 A∩BiA\cap B_i 两两互斥。因此,由可数可加性可得

P(A)=∑iP(A∩Bi).P(A)=\sum_i P(A\cap B_i).

根据条件概率的定义,只要 P(Bi)>0P(B_i)>0,就有

P(A∩Bi)=P(A∣Bi)P(Bi)P(A\cap B_i)=P(A\mid B_i)P(B_i)

代入即得所要证明的公式。

因此,全概率公式是概率公理和条件概率定义的推论,而不是对模型作出的额外假设。

对于有限划分,该公式将 P(A)P(A) 表示为各条件概率的一个凸组合:权重 P(Bi)P(B_i) 均非负,且总和为一。因此,

min⁡iP(A∣Bi)≤P(A)≤max⁡iP(A∣Bi).\min_i P(A\mid B_i) \le P(A)\le \max_i P(A\mid B_i).

权重至关重要。除非各类情形等可能发生,否则直接对条件概率取普通算术平均通常是错误的。

这里不需要任何统计独立性假设。如果 AA 与划分中的每个事件都独立,那么对于每个概率为正的情形,都有 P(A∣Bi)=P(A)P(A\mid B_i)=P(A),公式便化为

P(A)=P(A)∑iP(Bi).P(A)=P(A)\sum_i P(B_i).

示例:多家工厂供货

假设某经销商从三家工厂进货:

工厂 供货占比 次品概率
1 0.500.50 0.010.01
2 0.300.30 0.020.02
3 0.200.20 0.040.04

令 DD 表示随机抽取的一件产品为次品这一事件,BiB_i 表示该产品来自第 ii 家工厂。那么

P(D)=P(D∣B1)P(B1)+P(D∣B2)P(B2)+P(D∣B3)P(B3)=(0.01)(0.50)+(0.02)(0.30)+(0.04)(0.20)=0.019.\begin{aligned} P(D) &=P(D\mid B_1)P(B_1) +P(D\mid B_2)P(B_2) +P(D\mid B_3)P(B_3)\\ &=(0.01)(0.50)+(0.02)(0.30)+(0.04)(0.20)\\ &=0.019. \end{aligned}

因此,总体次品概率为 1.9%1.9\%。三家工厂次品率的未加权平均值约为 2.33%2.33\%,但这种计算忽略了各工厂在经销商货源中所占比例的差异。

应采用的权重取决于抽样方式。等概率地选择一家工厂,再从该工厂的产品中抽取一件,与从经销商的库存中等概率地抽取一件产品,是两种不同的试验。

条件形式

全概率公式本身也可以在给定某个条件事件的情况下使用。如果 P(C)>0P(C)>0,那么

P(A∣C)=∑iP(A∣Bi∩C)P(Bi∣C),P(A\mid C) = \sum_i P(A\mid B_i\cap C)P(B_i\mid C),

其中省略满足 P(Bi∩C)=0P(B_i\cap C)=0 的项。

这就是将通常的全概率公式应用于概率测度 P( ⋅∣C)P(\,\cdot\mid C)。各类情形的概率,以及各情形内部的概率,都必须在给定额外信息 CC 的条件下计算。一般而言,不能用无条件权重 P(Bi)P(B_i) 替代 P(Bi∣C)P(B_i\mid C)。

随机变量形式与连续形式

以离散随机变量为条件

如果随机变量 XX 只取有限个或可数个值,则事件 {X=x}\{X=x\} 构成一个划分。因此,

P(A)=∑x:P(X=x)>0P(A∣X=x)P(X=x).P(A)=\sum_{x:P(X=x)>0}P(A\mid X=x)P(X=x).

当各类情形由计数、类别、状态或未观测变量的取值确定时,这一表述尤其有用。

以连续随机变量为条件

如果 XX 具有概率密度函数 fXf_X,则相应的表达式为

P(A)=∫RP(A∣X=x)fX(x) dx,P(A)=\int_{\mathbb R}P(A\mid X=x)f_X(x)\,dx,

其中 P(A∣X=x)P(A\mid X=x) 通过适当选取的条件概率版本来解释。

对于服从连续分布的 XX,每个单独事件 {X=x}\{X=x\} 的概率都为零。因此,该积分中的条件概率一般不能用初等定义中的比值

P(A∩{X=x})P(X=x).\frac{P(A\cap\{X=x\})}{P(X=x)}.

来定义。

相反,它需要借助条件分布或条件期望来定义。在标准的正则性条件下,包括通常的实值情形,适当的条件分布是存在的。它们的取值只需对 PXP_X-几乎处处的 xx 作出规定,其中 PXP_X 是 XX 的概率分布。

更一般的积分形式为

P(A)=∫P(A∣X=x) PX(dx).P(A)=\int P(A\mid X=x)\,P_X(dx).

这一表述也涵盖离散分布和混合分布。

边际分布

将全概率公式应用于涉及另一个随机变量 YY 的事件,可以得到边际化公式。如果 XX 和 YY 具有联合概率密度,且 fY∣Xf_{Y\mid X} 是与之相容的条件密度,那么

fY(y)=∫RfY∣X(y∣x)fX(x) dxf_Y(y)=\int_{\mathbb R}f_{Y\mid X}(y\mid x)f_X(x)\,dx

对几乎处处的 yy 成立。

因此,通过对辅助变量的可能取值求和或积分来消去该变量,就是全概率公式在分布层面的体现。

与条件期望的联系

最一般的表述使用条件期望。对于子σ代数 G⊆F\mathcal G\subseteq\mathcal F,定义

P(A∣G)=E[1A∣G],P(A\mid\mathcal G) = E[\mathbf 1_A\mid\mathcal G],

其中 1A\mathbf 1_A 是 AA 的示性函数。于是

P(A)=E ⁣[P(A∣G)].\boxed{ P(A)=E\!\left[P(A\mid\mathcal G)\right]. }

这是将迭代期望定律应用于示性函数所得的结果。更一般地,对于任意可积随机变量 YY,有

E[Y]=E ⁣[E[Y∣G]].E[Y]=E\!\left[E[Y\mid\mathcal G]\right].

当 G\mathcal G 由有限或可数划分生成时,条件概率在划分中每个概率为正的事件上均为常数,期望便化为熟悉的加权和。这将全概率公式与更广泛的期望值理论联系起来,同时不要求条件事件具有正概率。

应用

贝叶斯推断

对于构成一个划分的假设 BiB_i,贝叶斯定理可写为

P(Bk∣A)=P(A∣Bk)P(Bk)∑iP(A∣Bi)P(Bi),P(A)>0.P(B_k\mid A) = \frac{P(A\mid B_k)P(B_k)} {\sum_i P(A\mid B_i)P(B_i)}, \qquad P(A)>0.

全概率公式给出了分母,用于对更新后的概率进行归一化。

在贝叶斯推断中,相应的连续运算是对似然按先验分布进行积分。所得的边际似然为

p(y)=∫p(y∣θ) π(dθ),p(y)=\int p(y\mid\theta)\,\pi(d\theta),

其中 π\pi 是先验概率测度。

混合分布

在含有潜在类别变量 ZZ 的模型中,观测值的分布通过对各类别对应的分布加权平均得到:

P(Y∈A)=∑kP(Y∈A∣Z=k)P(Z=k).P(Y\in A) = \sum_k P(Y\in A\mid Z=k)P(Z=k).

对于高斯混合模型,由此得到的是正态密度的加权和。分量标签确定了划分,而混合权重则给出了划分中各事件的概率。

马尔可夫链

对于离散状态马尔可夫链,以中间时刻的状态为条件,可得

P(Xn+m=j∣X0=i)=∑kP(Xn+m=j∣Xn=k)P(Xn=k∣X0=i),P(X_{n+m}=j\mid X_0=i) = \sum_k P(X_{n+m}=j\mid X_n=k) P(X_n=k\mid X_0=i),

这里要求相关条件事件的概率为正。第一个条件概率的简化使用了马尔可夫性质;对中间状态求和则使用了全概率公式。对于时间齐次链,由此可得到查普曼—柯尔莫哥洛夫方程。

适用条件与常见错误

  • 情形重叠会造成重复计算。 简单求和的形式要求各类情形互斥。对于相互重叠的事件,必须先将其改写为适当的划分,或使用其他恒等式处理。
  • 情形不完整会遗漏概率。 如果所选情形未能覆盖样本空间中除零概率事件以外的全部部分,就需要补上剩余情形。
  • 条件概率必须加权。 仅将 P(A∣Bi)P(A\mid B_i) 相加,一般不能得到 P(A)P(A)。
  • 以零概率事件为条件时须谨慎。 当条件事件的概率为零时,初等定义下的条件概率没有定义;连续条件化需要更一般的构造。
  • 不可数划分需要使用积分。 可数可加性不能作为对单个结果作不可数求和的依据。尤其是,将概率为零的单点事件相加,并不是计算连续概率的有效方法。
  • 条件化不等于干预。 该公式讨论的是观测条件概率。其中各项本身并不能描述改变或干预条件变量所产生的效果;这一区别属于因果推断的研究范畴。