条件期望是概率和统计学中的基本概念,用于描述给定信息下随机变量的平均值。它推广了通常的期望值:以某个事件为条件时,得到的是一个数;以另一个随机变量为条件时,得到的通常是一个随机变量,其取值取决于观测到的信息。条件期望为计算子群体内的平均值、预测未观测量,以及描述信息不断积累时的不确定性提供了统一框架。(ocw.mit.edu)
初等定义
对于可积随机变量 和满足 的事件 ,条件期望定义为
其中, 在 上等于 1,在其余位置等于 0。对于离散随机变量 ,该式可写为
因此,计算这一平均值时使用的是根据给定事件调整后的概率,而非原来的概率。(ocw.mit.edu)
若 是离散随机变量,则对满足 的取值,定义
表达式 表示一个随机变量,而 表示它在某个给定观测值处的数值。这一区别至关重要:尽管无条件均值是常数,条件均值却会随 的取值而变化。(ocw.mit.edu)
对于实值随机变量 ,若它们的联合概率分布具有密度 ,则相应公式使用条件概率密度函数:
其中要求 ,且积分存在。这并不是直接除以 ,因为对于连续分布的 ,该概率为零。(live.ocw.mit.edu)
测度论定义
一般定义建立在测度论之上。设 为一个概率空间,,并设 是表示可用信息的σ代数。条件期望 是一个可积且 -可测的随机变量,并满足
这些勒贝格积分恒等式保留了利用该信息能够确定的平均值。可测性则确保 不依赖于 之外的信息。(math.ucdavis.edu)
条件期望的存在性可由拉东—尼科迪姆定理推出:对于非负可积随机变量 ,定义在 上的测度 相对于 具有拉东—尼科迪姆导数。对于一般的可积随机变量 ,则分别处理其正部和负部。条件期望在几乎必然的意义下唯一,也就是说,不同版本可以在概率为零的集合上有所不同。(math.ucdavis.edu)
以 为条件,就是以它生成的 σ代数 为条件。对于实值随机变量 ,条件期望的某个版本可写为 ,其中 是可测函数。对于概率为零的单个观测值,其对应的函数值不一定能唯一确定;额外的正则性条件可以帮助选取一个便于使用的版本。(math.ucdavis.edu)
主要性质
对于可积随机变量,条件期望具有线性性和保序性。对 -可测的随机变量取条件期望,其值保持不变。若 与 具有统计独立性,则
独立性是这一恒等式成立的充分条件,但仅凭该恒等式不能断定独立性。(math.ucdavis.edu)
“提出已知量”规则指出,对于有界且 -可测的随机变量 ,有
塔式性质指出,若 ,则
因此,利用较粗的信息对基于较细信息的估计再取平均,结果等同于直接基于较粗信息作出的估计。其特例是全期望公式:
上述涉及随机变量相等的恒等式均在几乎必然的意义下成立。(people.math.wisc.edu)
条件形式的詹森不等式给出
其中 为凸函数,并假定相关期望存在。特别地,取条件期望不会增大绝对值的期望:
预测与几何解释
当 时,条件期望是 在希尔伯特空间 中向由 -可测随机变量构成的闭子空间的正交投影。其残差满足
其中 可以是任意平方可积且 -可测的随机变量。这里的正交性是相对于内积 而言的。(samuel-drapeau.info)
因此,在所有基于 的平方可积预测中, 使均方误差最小。对于已观测到的预测变量 ,最优预测为 。与线性回归不同,这种优化并不将预测限制为线性函数;最优条件均值可以是非线性的。(ocw.mit.edu)
方差分解与随机过程
对于平方可积随机变量 ,条件方差定义为
由全方差公式可得
这一公式将总变异分解为两部分:按给定信息划分的各组内部剩余变异的平均值,以及各组条件均值之间的变异。(ocw.mit.edu)
在随机过程中,随时间递增的滤过(概率论) 表示各时刻可用的信息。可积适应过程 若满足
则称为鞅。对于可积的终端量 ,过程 由塔式性质满足这一恒等式,表示随着信息增加,对同一量依次作出的估计。(people.math.wisc.edu)
参考来源
- ocw.mit.edu/courses/6-041sc-probabilistic-systems-analysis-and-applied-probabil…ocw.mit.edu
- ocw.mit.edu/courses/6-042j-mathematics-for-computer-science-fall-2010/93cad640c…ocw.mit.edu
- live.ocw.mit.edu/courses/14-30-introduction-to-statistical-methods-in-economics…live.ocw.mit.edu
- math.ucdavis.edu/~romik/data/uploads/notes/lecturenotes235b.pdfmath.ucdavis.edu
- people.math.wisc.edu/~dfanderson/635S12/Lectures/635_Ch4_Lec.pdfpeople.math.wisc.edu
- samuel-drapeau.info/SP_Lecture/lecture/03-Integration/033-radon-nikodym-cond-ex…samuel-drapeau.info
- ocw.mit.edu/courses/res-6-012-introduction-to-probability-spring-2018/55e1f9855…ocw.mit.edu