全期望公式是概率论中的一个定理,指出随机变量的期望值等于其条件期望的期望值。对于可积随机变量 X 和另一个随机变量 Y,有
E[X]=E[E[X∣Y]].
直观地说,可以先计算每一组内的均值,再以各组的概率为权重对这些组内均值求平均,从而得到总体均值。这一定律不要求独立性假设。它更一般的形式称为塔式性质,描述了对相互嵌套的信息集依次取条件期望时的关系。
基本表述与解释
设 X 为实值可积随机变量,即
E[∣X∣]<∞.
表达式 E[X∣Y] 本身也是随机变量:其值取决于观测到的 Y 的值。外层期望按照 Y 的概率分布对这一条件均值求平均。
若用 m(y) 表示 E[X∣Y=y] 的一个适当版本,则该公式可写成
E[X]=E[m(Y)].
因此,将 X 的每个取值替换为相应 Y 值所对应的平均值,不会改变总体期望。
该定理也适用于非负的 X,此时等式两边均可取 +∞。对于既可取正值又可取负值的不可积随机变量,则需要格外谨慎:涉及未定义表达式 +∞−∞ 的期望没有意义。
离散形式与连续形式
以划分为条件
设 A1,A2,… 构成样本空间的一个有限或可数的集合划分,并略去概率为零的事件。则
E[X]=i∑E[X∣Ai]P(Ai).
其中
E[X∣Ai]=P(Ai)E[X1Ai],
这里 1Ai 是 Ai 的示性函数。
当条件变量 Y 为离散随机变量时,可得
E[X]=y:P(Y=y)>0∑E[X∣Y=y]P(Y=y).
这里只要求 Y 是离散的;X 可以是离散型、连续型或混合型。
以连续变量为条件
若 Y 具有概率密度函数 fY,则
E[X]=∫−∞∞m(y)fY(y)dy,m(y)=E[X∣Y=y].
若 X 和 Y 具有联合密度,则在 fY(y)>0 处,m 的一个版本可写为
m(y)=∫−∞∞xfX∣Y(x∣y)dx
。代入这一表达式,得到
E[X]=∫−∞∞(∫−∞∞xfX∣Y(x∣y)dx)fY(y)dy.
对于连续的 Y,事件 Y=y 的概率通常为零。因此,E[X∣Y=y] 不能通过除以 P(Y=y) 来定义,而是通过条件分布或 E[X∣Y] 的可测表示来解释;除去关于 Y 的分布而言概率为零的集合后,这一表示是确定的。
更一般地,用 PY 表示 Y 的分布,则
E[X]=∫m(y)PY(dy).
这一表述也涵盖既非纯离散型、也非纯连续型的分布。
测度论表述
在概率空间 (Ω,F,P) 上,设 G⊆F 是表示可用信息的σ代数。对于可积的 X,条件期望
Z=E[X∣G]
是一个可积且 G-可测的随机变量,满足
∫AZdP=∫AXdPfor every A∈G.
它在几乎必然的意义下唯一。
取 A=Ω,立即得到
E[E[X∣G]]=E[X].
因此,基本的全期望公式是条件期望定义性质的直接推论。
以 Y 为条件,就是以 Y 生成的 σ代数 σ(Y) 为条件。这一测度论表述既不要求存在密度,也不要求可能取值构成可数集。
塔式性质
若
G⊆H⊆F,
则
E[E[X∣H]∣G]=E[X∣G]almost surely.
对基于更细致信息得到的估计,再以较粗略的信息为条件求平均,所得结果等于直接基于较粗略信息得到的估计。
为证明这一点,令
Z=E[E[X∣H]∣G].
对于每个 A∈G,由 A∈H 可得
∫AZdP=∫AE[X∣H]dP=∫AXdP.
再结合 Z 的 G-可测性,可知 Z 是 E[X∣G] 的一个版本。
反过来取条件期望,也有
E[E[X∣G]∣H]=E[X∣G],
因为 G-可测的随机变量也必然是 H-可测的。
用随机变量表示的一个重要形式是
E[E[X∣Y,Z]∣Y]=E[X∣Y].
嵌套关系至关重要:对彼此无包含关系的信息集任意依次取条件期望,并不满足同样的简化规则。
示例
组均值的加权平均
假设某生产流程中,70% 的产品由机器 A 加工,30% 由机器 B 加工。两台机器的平均加工时间分别为 4 分钟和 9 分钟。若 X 表示加工时间,Y 表示所使用的机器,则
E[X]=0.7(4)+0.3(9)=5.5 minutes.
不加权的平均值为 6.5 分钟,但这不是总体均值,因为两台机器的使用比例并不相同。
随机的成功概率
设 P 的取值范围为 [0,1],并假设
X∣P∼Binomial(n,P),
其中 n 为常数。这一二项分布的条件均值为 nP,因此
E[X]=E[nP]=nE[P].
无论 P 服从何种具体分布,这一结果都成立。
求和项数为随机变量
设 N 为具有有限均值的非负整数值随机变量。设 X1,X2,… 为同分布的可积随机变量,均值为 μ,并假设整个序列与 N 独立。定义
S=i=1∑NXi,
当 N=0 时,规定 S=0。由于
E[S∣N=n]=nμ,
由全期望公式可得
E[S]=μE[N].
计算这一均值不需要各个 Xi 相互独立。不过,该序列与 N 独立,是保证上述条件均值成立的一个充分条件。
推论与应用
全概率公式
将定理应用于事件 A 的示性函数,可得
P(A)=E[P(A∣Y)].
对于离散的 Y,有
P(A)=y∑P(A∣Y=y)P(Y=y).
因此,全概率公式就是全期望公式应用于示性随机变量时的特例。
方差分解
若 E[X2]<∞,对离差的平方应用全期望公式,可得全方差公式:
Var(X)=E[Var(X∣Y)]+Var(E[X∣Y]).
它将方差分解为组内变异的平均值与组均值之间的变异。
条件蒙特卡洛方法
在蒙特卡洛方法中,用可计算的条件期望 E[X∣Y] 替换 X,不会改变其均值。在平方可积的条件下,
Var(E[X∣Y])≤Var(X).
因此,基于条件均值的模拟可以具有更小的方差,不过也需要考虑计算这些条件均值的成本。
贝叶斯预测与随机过程
在贝叶斯推断中,预测期望是按照参数的后验分布,对给定参数时的条件期望求平均。对于观测数据 D、参数 θ 和未来观测 X,只要所需的期望存在,就有
E[X∣D]=E[E[X∣θ,D]∣D],
对于滤过(概率论) (Ft) 和可积随机变量 Z,过程
Mt=E[Z∣Ft]
是一个鞅。事实上,对于 s≤t,由塔式性质可得
E[Mt∣Fs]=Ms.
适用条件与常见误区
必须为条件均值赋予正确的权重。 对各组赋予相同权重,通常不同于按各组在总体中的概率求平均。
不需要独立性。 若 X 与 Y 在统计意义上独立,则条件均值几乎必然为常数;当它们存在依赖关系时,定理同样适用。
不能忽略可积性。 例如,服从柯西分布的随机变量不存在通常意义下的期望,因此不能对它使用有限均值的恒等式。
使用塔式性质进行简化时,条件信息必须相互嵌套。 若信息集之间不存在包含关系,通常不能将多次取条件期望替换为单次取条件期望。
期望运算通常不能与非线性函数交换次序。 在可积的条件下,定理给出
E[g(X)]=E[E[g(X)∣Y]]
但通常不能据此得出
E[g(X)]=E[g(E[X∣Y])].
对于凸函数 g,相应的不等式由詹森不等式给出。