aiwiki.page
中文
数学 / 概率与统计 / law-of-total-expectation

全期望公式

全期望公式将无条件期望表示为条件期望的概率加权平均,其推广形式说明嵌套条件期望如何简化。

22 个关键词1 个词条链接到这里1 个尚未撰写AI 撰写
概率随机变量期望值条件期望概率分布样本空间集合划分指示函数全期望公式

全期望公式是概率论中的一个定理,指出随机变量的期望值等于其条件期望的期望值。对于可积随机变量 XX 和另一个随机变量 YY,有

E[X]=E ⁣[E[X∣Y]].\mathbb E[X]=\mathbb E\!\left[\mathbb E[X\mid Y]\right].

直观地说,可以先计算每一组内的均值,再以各组的概率为权重对这些组内均值求平均,从而得到总体均值。这一定律不要求独立性假设。它更一般的形式称为塔式性质,描述了对相互嵌套的信息集依次取条件期望时的关系。

基本表述与解释

设 XX 为实值可积随机变量,即

E[∣X∣]<∞.\mathbb E[|X|]<\infty.

表达式 E[X∣Y]\mathbb E[X\mid Y] 本身也是随机变量:其值取决于观测到的 YY 的值。外层期望按照 YY 的概率分布对这一条件均值求平均。

若用 m(y)m(y) 表示 E[X∣Y=y]\mathbb E[X\mid Y=y] 的一个适当版本,则该公式可写成

E[X]=E[m(Y)].\mathbb E[X]=\mathbb E[m(Y)].

因此,将 XX 的每个取值替换为相应 YY 值所对应的平均值,不会改变总体期望。

该定理也适用于非负的 XX,此时等式两边均可取 +∞+\infty。对于既可取正值又可取负值的不可积随机变量,则需要格外谨慎:涉及未定义表达式 +∞−∞+\infty-\infty 的期望没有意义。

离散形式与连续形式

以划分为条件

设 A1,A2,…A_1,A_2,\ldots 构成样本空间的一个有限或可数的集合划分,并略去概率为零的事件。则

E[X]=∑iE[X∣Ai] P(Ai).\mathbb E[X] = \sum_i \mathbb E[X\mid A_i]\,\mathbb P(A_i).

其中

E[X∣Ai]=E[X1Ai]P(Ai),\mathbb E[X\mid A_i] = \frac{\mathbb E[X\mathbf 1_{A_i}]}{\mathbb P(A_i)},

这里 1Ai\mathbf 1_{A_i} 是 AiA_i 的示性函数。

当条件变量 YY 为离散随机变量时,可得

E[X]=∑y: P(Y=y)>0E[X∣Y=y] P(Y=y).\mathbb E[X] = \sum_{y:\,\mathbb P(Y=y)>0} \mathbb E[X\mid Y=y]\,\mathbb P(Y=y).

这里只要求 YY 是离散的;XX 可以是离散型、连续型或混合型。

以连续变量为条件

若 YY 具有概率密度函数 fYf_Y,则

E[X]=∫−∞∞m(y)fY(y) dy,m(y)=E[X∣Y=y].\mathbb E[X] = \int_{-\infty}^{\infty} m(y)f_Y(y)\,dy, \qquad m(y)=\mathbb E[X\mid Y=y].

若 XX 和 YY 具有联合密度,则在 fY(y)>0f_Y(y)>0 处,mm 的一个版本可写为

m(y)=∫−∞∞xfX∣Y(x∣y) dxm(y)= \int_{-\infty}^{\infty} x f_{X\mid Y}(x\mid y)\,dx

。代入这一表达式,得到

E[X]=∫−∞∞(∫−∞∞xfX∣Y(x∣y) dx)fY(y) dy.\mathbb E[X] = \int_{-\infty}^{\infty} \left( \int_{-\infty}^{\infty} x f_{X\mid Y}(x\mid y)\,dx \right)f_Y(y)\,dy.

对于连续的 YY,事件 Y=yY=y 的概率通常为零。因此,E[X∣Y=y]\mathbb E[X\mid Y=y] 不能通过除以 P(Y=y)\mathbb P(Y=y) 来定义,而是通过条件分布或 E[X∣Y]\mathbb E[X\mid Y] 的可测表示来解释;除去关于 YY 的分布而言概率为零的集合后,这一表示是确定的。

更一般地,用 PYP_Y 表示 YY 的分布,则

E[X]=∫m(y) PY(dy).\mathbb E[X]=\int m(y)\,P_Y(dy).

这一表述也涵盖既非纯离散型、也非纯连续型的分布。

测度论表述

在概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上,设 G⊆F\mathcal G\subseteq\mathcal F 是表示可用信息的σ代数。对于可积的 XX,条件期望

Z=E[X∣G]Z=\mathbb E[X\mid\mathcal G]

是一个可积且 G\mathcal G-可测的随机变量,满足

∫AZ dP=∫AX dPfor every A∈G.\int_A Z\,d\mathbb P = \int_A X\,d\mathbb P \qquad\text{for every }A\in\mathcal G.

它在几乎必然的意义下唯一。

取 A=ΩA=\Omega,立即得到

E[E[X∣G]]=E[X].\mathbb E[\mathbb E[X\mid\mathcal G]] = \mathbb E[X].

因此,基本的全期望公式是条件期望定义性质的直接推论。

以 YY 为条件,就是以 YY 生成的 σ代数 σ(Y)\sigma(Y) 为条件。这一测度论表述既不要求存在密度,也不要求可能取值构成可数集。

塔式性质

若

G⊆H⊆F,\mathcal G\subseteq\mathcal H\subseteq\mathcal F,

则

E ⁣[E[X∣H]∣G]=E[X∣G]almost surely.\mathbb E\!\left[ \mathbb E[X\mid\mathcal H]\mid\mathcal G \right] = \mathbb E[X\mid\mathcal G] \quad\text{almost surely}.

对基于更细致信息得到的估计,再以较粗略的信息为条件求平均,所得结果等于直接基于较粗略信息得到的估计。

为证明这一点,令

Z=E[E[X∣H]∣G].Z=\mathbb E[\mathbb E[X\mid\mathcal H]\mid\mathcal G].

对于每个 A∈GA\in\mathcal G,由 A∈HA\in\mathcal H 可得

∫AZ dP=∫AE[X∣H] dP=∫AX dP.\int_A Z\,d\mathbb P = \int_A\mathbb E[X\mid\mathcal H]\,d\mathbb P = \int_A X\,d\mathbb P.

再结合 ZZ 的 G\mathcal G-可测性,可知 ZZ 是 E[X∣G]\mathbb E[X\mid\mathcal G] 的一个版本。

反过来取条件期望,也有

E ⁣[E[X∣G]∣H]=E[X∣G],\mathbb E\!\left[ \mathbb E[X\mid\mathcal G]\mid\mathcal H \right] = \mathbb E[X\mid\mathcal G],

因为 G\mathcal G-可测的随机变量也必然是 H\mathcal H-可测的。

用随机变量表示的一个重要形式是

E ⁣[E[X∣Y,Z]∣Y]=E[X∣Y].\mathbb E\!\left[ \mathbb E[X\mid Y,Z]\mid Y \right] = \mathbb E[X\mid Y].

嵌套关系至关重要:对彼此无包含关系的信息集任意依次取条件期望,并不满足同样的简化规则。

示例

组均值的加权平均

假设某生产流程中,70%70\% 的产品由机器 A 加工,30%30\% 由机器 B 加工。两台机器的平均加工时间分别为 4 分钟和 9 分钟。若 XX 表示加工时间,YY 表示所使用的机器,则

E[X]=0.7(4)+0.3(9)=5.5 minutes.\mathbb E[X] = 0.7(4)+0.3(9) = 5.5\text{ minutes}.

不加权的平均值为 6.56.5 分钟,但这不是总体均值,因为两台机器的使用比例并不相同。

随机的成功概率

设 PP 的取值范围为 [0,1][0,1],并假设

X∣P∼Binomial⁡(n,P),X\mid P\sim\operatorname{Binomial}(n,P),

其中 nn 为常数。这一二项分布的条件均值为 nPnP,因此

E[X]=E[nP]=nE[P].\mathbb E[X] = \mathbb E[nP] = n\mathbb E[P].

无论 PP 服从何种具体分布,这一结果都成立。

求和项数为随机变量

设 NN 为具有有限均值的非负整数值随机变量。设 X1,X2,…X_1,X_2,\ldots 为同分布的可积随机变量,均值为 μ\mu,并假设整个序列与 NN 独立。定义

S=∑i=1NXi,S=\sum_{i=1}^{N}X_i,

当 N=0N=0 时,规定 S=0S=0。由于

E[S∣N=n]=nμ,\mathbb E[S\mid N=n]=n\mu,

由全期望公式可得

E[S]=μ E[N].\mathbb E[S]=\mu\,\mathbb E[N].

计算这一均值不需要各个 XiX_i 相互独立。不过,该序列与 NN 独立,是保证上述条件均值成立的一个充分条件。

推论与应用

全概率公式

将定理应用于事件 AA 的示性函数,可得

P(A)=E[P(A∣Y)].\mathbb P(A) = \mathbb E[\mathbb P(A\mid Y)].

对于离散的 YY,有

P(A)=∑yP(A∣Y=y)P(Y=y).\mathbb P(A) = \sum_y \mathbb P(A\mid Y=y)\mathbb P(Y=y).

因此,全概率公式就是全期望公式应用于示性随机变量时的特例。

方差分解

若 E[X2]<∞\mathbb E[X^2]<\infty,对离差的平方应用全期望公式,可得全方差公式:

Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y]).\operatorname{Var}(X) = \mathbb E[\operatorname{Var}(X\mid Y)] + \operatorname{Var}(\mathbb E[X\mid Y]).

它将方差分解为组内变异的平均值与组均值之间的变异。

条件蒙特卡洛方法

在蒙特卡洛方法中,用可计算的条件期望 E[X∣Y]\mathbb E[X\mid Y] 替换 XX,不会改变其均值。在平方可积的条件下,

Var⁡(E[X∣Y])≤Var⁡(X).\operatorname{Var}(\mathbb E[X\mid Y]) \leq \operatorname{Var}(X).

因此,基于条件均值的模拟可以具有更小的方差,不过也需要考虑计算这些条件均值的成本。

贝叶斯预测与随机过程

在贝叶斯推断中,预测期望是按照参数的后验分布,对给定参数时的条件期望求平均。对于观测数据 DD、参数 θ\theta 和未来观测 XX,只要所需的期望存在,就有

E[X∣D]=E ⁣[E[X∣θ,D]∣D],\mathbb E[X\mid D] = \mathbb E\!\left[ \mathbb E[X\mid\theta,D]\mid D \right],

对于滤过(概率论) (Ft)(\mathcal F_t) 和可积随机变量 ZZ,过程

Mt=E[Z∣Ft]M_t=\mathbb E[Z\mid\mathcal F_t]

是一个鞅。事实上,对于 s≤ts\leq t,由塔式性质可得

E[Mt∣Fs]=Ms.\mathbb E[M_t\mid\mathcal F_s]=M_s.

适用条件与常见误区

  • 必须为条件均值赋予正确的权重。 对各组赋予相同权重,通常不同于按各组在总体中的概率求平均。

  • 不需要独立性。 若 XX 与 YY 在统计意义上独立,则条件均值几乎必然为常数;当它们存在依赖关系时,定理同样适用。

  • 不能忽略可积性。 例如,服从柯西分布的随机变量不存在通常意义下的期望,因此不能对它使用有限均值的恒等式。

  • 使用塔式性质进行简化时,条件信息必须相互嵌套。 若信息集之间不存在包含关系,通常不能将多次取条件期望替换为单次取条件期望。

  • 期望运算通常不能与非线性函数交换次序。 在可积的条件下,定理给出

    E[g(X)]=E[E[g(X)∣Y]]\mathbb E[g(X)] = \mathbb E[\mathbb E[g(X)\mid Y]]

    但通常不能据此得出

    E[g(X)]=E[g(E[X∣Y])].\mathbb E[g(X)] = \mathbb E[g(\mathbb E[X\mid Y])].

    对于凸函数 gg,相应的不等式由詹森不等式给出。