条件分布 是指在给定另一个变量的取值、某个事件的发生或一组信息时,某个随机变量 的概率分布 。无条件分布描述整个总体或实验中的变异情况,而条件分布描述由条件信息限定的情形下的变异情况。例如,给定气温时,每日用电需求的分布可能与所有日期的用电需求分布有显著差异。
条件分布将联合概率分布 与预测、统计推断以及对动态随机系统的数学描述联系起来。对于离散变量,条件分布可通过将联合概率除以边缘概率得到。对于具有概率密度的变量,只要作为条件的变量在给定取值处的密度为正,就可以使用类似的比值。更一般的表述使用概率核与条件期望,既允许以连续分布的观测值为条件,也能处理没有密度的分布。这些表述为回归、贝叶斯更新、随机过程和概率计算奠定了基础,同时也阐明了为什么以某个观测值为条件,通常并不等同于通过干预改变它。
初等定义与离散分布 初等定义从条件概率 出发。若 B B B 是满足 P ( B ) > 0 P(B)>0 P ( B ) > 0 的事件,则给定 B B B 时,实值随机变量 X X X 的条件分布为每个博雷尔集 A A A 赋予如下概率:
P ( X ∈ A ∣ B ) = P ( { X ∈ A } ∩ B ) P ( B ) . P(X\in A\mid B) = \frac{P(\{X\in A\}\cap B)}{P(B)}. P ( X ∈ A ∣ B ) = P ( B ) P ({ X ∈ A } ∩ B ) .
作为 A A A 的函数,它是一个概率测度:取值非负,赋予整个实数轴的概率为一,并且具有可列可加性。因此,条件化得到的是一个完整的概率分布,而不仅仅是一个经过修正的概率值。这个分布的各种常见特征——均值、方差、分位数和事件概率——都可以加以研究。
对于离散随机变量 X X X 和 Y Y Y ,以 Y = y Y=y Y = y 为条件,得到条件概率质量函数
p X ∣ Y ( x ∣ y ) = p X , Y ( x , y ) p Y ( y ) , p Y ( y ) > 0 , p_{X\mid Y}(x\mid y) = \frac{p_{X,Y}(x,y)}{p_Y(y)}, \qquad p_Y(y)>0, p X ∣ Y ( x ∣ y ) = p Y ( y ) p X , Y ( x , y ) , p Y ( y ) > 0 ,
其中
p Y ( y ) = ∑ x p X , Y ( x , y ) . p_Y(y)=\sum_x p_{X,Y}(x,y). p Y ( y ) = x ∑ p X , Y ( x , y ) .
因此,将联合概率表中相应的行或列分别归一化,就能得到条件分布。记号 X ∣ Y = y X\mid Y=y X ∣ Y = y 是描述具有这一条件分布的随机变量的惯用写法,并不表示随机变量之间的除法。
例如,掷两枚相互独立的公平六面骰子,令 X X X 为第一枚骰子的点数,S S S 为两枚骰子的点数之和。给定 S = 8 S=8 S = 8 ,可能的有序结果为
( 2 , 6 ) , ( 3 , 5 ) , ( 4 , 4 ) , ( 5 , 3 ) , ( 6 , 2 ) . (2,6),(3,5),(4,4),(5,3),(6,2). ( 2 , 6 ) , ( 3 , 5 ) , ( 4 , 4 ) , ( 5 , 3 ) , ( 6 , 2 ) .
每个结果的条件概率都是 1 / 5 1/5 1/5 ,因此 X X X 的条件分布是 { 2 , 3 , 4 , 5 , 6 } \{2,3,4,5,6\} { 2 , 3 , 4 , 5 , 6 } 上的均匀分布。而它的无条件分布是 { 1 , … , 6 } \{1,\ldots,6\} { 1 , … , 6 } 上的均匀分布。给定点数之和,既改变了第一枚骰子点数分布的支撑集,也改变了各点数的概率,尽管两枚骰子本身都没有发生任何物理变化。
另一个例子说明,条件化是对试验结果施加限制,而不是替换试验。设 N N N 服从均值为 λ > 0 \lambda>0 λ > 0 的泊松分布 。以至少发生一次为条件,有
P ( N = n ∣ N > 0 ) = e − λ λ n / n ! 1 − e − λ , n = 1 , 2 , … . P(N=n\mid N>0) = \frac{e^{-\lambda}\lambda^n/n!}{1-e^{-\lambda}}, \qquad n=1,2,\ldots. P ( N = n ∣ N > 0 ) = 1 − e − λ e − λ λ n / n ! , n = 1 , 2 , … .
这就是零截断泊松分布。当抽样过程只能记录计数为正的个体时,就会出现这类分布。其条件均值为 λ / ( 1 − e − λ ) \lambda/(1-e^{-\lambda}) λ / ( 1 − e − λ ) ,而不是 λ \lambda λ ,因为计数为零的结果已被排除。
对条件变量取平均,还可以由条件分布还原原来的分布:
P ( X ∈ A ) = ∑ y P ( X ∈ A ∣ Y = y ) P ( Y = y ) . P(X\in A) = \sum_y P(X\in A\mid Y=y)P(Y=y). P ( X ∈ A ) = y ∑ P ( X ∈ A ∣ Y = y ) P ( Y = y ) .
这个恒等式将无条件分布表示为条件分布的混合。反过来,指定 Y Y Y 的边缘分布,并为每个可能的 y y y 指定给定该值时 X X X 的条件分布,就确定了二者的联合分布。条件化的方向很重要:p X ∣ Y ( x ∣ y ) p_{X\mid Y}(x\mid y) p X ∣ Y ( x ∣ y ) 与 p Y ∣ X ( y ∣ x ) p_{Y\mid X}(y\mid x) p Y ∣ X ( y ∣ x ) 通常不同,因为它们归一化的是同一张联合概率表中的不同部分。
连续、混合与奇异条件分布 当 ( X , Y ) (X,Y) ( X , Y ) 相对于二维勒贝格测度 具有联合概率密度函数 时,Y Y Y 的边缘密度为
f Y ( y ) = ∫ R f X , Y ( x , y ) d x . f_Y(y)=\int_{\mathbb R}f_{X,Y}(x,y)\,dx. f Y ( y ) = ∫ R f X , Y ( x , y ) d x .
对于 f Y ( y ) > 0 f_Y(y)>0 f Y ( y ) > 0 ,一个条件密度为
f X ∣ Y ( x ∣ y ) = f X , Y ( x , y ) f Y ( y ) . f_{X\mid Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}. f X ∣ Y ( x ∣ y ) = f Y ( y ) f X , Y ( x , y ) .
随后可通过积分得到条件概率:
P ( X ∈ A ∣ Y = y ) = ∫ A f X ∣ Y ( x ∣ y ) d x . P(X\in A\mid Y=y) = \int_A f_{X\mid Y}(x\mid y)\,dx. P ( X ∈ A ∣ Y = y ) = ∫ A f X ∣ Y ( x ∣ y ) d x .
这个公式看起来与离散情形中的比值公式相似,但含义不同。通常 P ( Y = y ) = 0 P(Y=y)=0 P ( Y = y ) = 0 ,因此它并不是将事件 { X ∈ A , Y = y } \{X\in A,Y=y\} { X ∈ A , Y = y } 与 { Y = y } \{Y=y\} { Y = y } 的概率相除而得到的。
在适当的连续性假设下,密度公式与以小区间为条件时的极限一致:
P ( X ∈ A ∣ Y = y ) = lim ε ↓ 0 P ( X ∈ A ∣ ∣ Y − y ∣ < ε ) . P(X\in A\mid Y=y) = \lim_{\varepsilon\downarrow0} P(X\in A\mid |Y-y|<\varepsilon). P ( X ∈ A ∣ Y = y ) = ε ↓ 0 lim P ( X ∈ A ∣ ∣ Y − y ∣ < ε ) .
这样的极限有助于理解条件分布,但不能作为在每一点都普遍有效的定义。更一般地,利用微分定理可以证明,对几乎所有条件取值,相应的区间极限关系都成立。此外,还必须明确具体采用哪种条件化方式:不同的收缩事件族未必表达相同的信息。
考虑从三角形区域
中均匀选取一个点。其联合密度在该三角形内为 2 2 2 ,在其他地方为零。由于
f Y ( y ) = 2 y , 0 < y < 1 , f_Y(y)=2y,\qquad 0<y<1, f Y ( y ) = 2 y , 0 < y < 1 ,
条件密度为
f X ∣ Y ( x ∣ y ) = 1 y , 0 < x < y . f_{X\mid Y}(x\mid y) = \frac1y,\qquad 0<x<y. f X ∣ Y ( x ∣ y ) = y 1 , 0 < x < y .
因此,X ∣ Y = y X\mid Y=y X ∣ Y = y 服从区间 ( 0 , y ) (0,y) ( 0 , y ) 上的均匀分布 。尽管 Y Y Y 取任一确切值的概率都为零,条件分布仍具有自然且明确的形式。
并非所有联合分布都有密度,也并非所有条件分布都是连续的。如果 Y = X Y=X Y = X ,那么在给定 Y = y Y=y Y = y 时,变量 X X X 以概率一等于 y y y 。其条件分布是在 y y y 处的点质量 δ y \delta_y δ y 。即使 X X X 具有连续的边缘密度,( X , Y ) (X,Y) ( X , Y ) 的联合分布也集中在对角线上,不存在二维密度。在这个例子中使用联合密度的比值公式并不恰当。
处理混合分布时也需要同样谨慎。降水模型可以赋予降水量为零的情形一个正的条件概率,并用连续密度描述正降水量:
L ( X ∣ Y = y ) = π ( y ) δ 0 + [ 1 − π ( y ) ] G y , \mathcal L(X\mid Y=y) = \pi(y)\delta_0+ [1-\pi(y)]G_y, L ( X ∣ Y = y ) = π ( y ) δ 0 + [ 1 − π ( y )] G y ,
其中,G y G_y G y 仅在正值上取概率。条件累积分布函数
F X ∣ Y ( x ∣ y ) = P ( X ≤ x ∣ Y = y ) , F_{X\mid Y}(x\mid y)=P(X\le x\mid Y=y), F X ∣ Y ( x ∣ y ) = P ( X ≤ x ∣ Y = y ) ,
无需假设密度存在,就能涵盖离散、连续和混合情形。它的跳跃对应条件点质量,而连续部分则描述其余的概率。
测度论表述与存在性 现代的一般表述以测度论 为基础。在概率空间 ( Ω , F , P ) (\Omega,\mathcal F,P) ( Ω , F , P ) 上,子σ代数 G ⊆ F \mathcal G\subseteq\mathcal F G ⊆ F 表示可用的信息。对于 X X X 的状态空间中的每个可测集 A A A ,条件概率定义为如下条件期望 :
P ( X ∈ A ∣ G ) = E [ 1 { X ∈ A } ∣ G ] , P(X\in A\mid\mathcal G) = E[\mathbf 1_{\{X\in A\}}\mid\mathcal G], P ( X ∈ A ∣ G ) = E [ 1 { X ∈ A } ∣ G ] ,
其中,1 { X ∈ A } \mathbf 1_{\{X\in A\}} 1 { X ∈ A } 是示性函数 。这个对象是一个 G \mathcal G G -可测随机变量,其定义在几乎处处相等的意义下唯一。
要将这些条件概率组合成一个条件分布,就必须对各个集合 A A A 一致地选取它们的版本。正则条件分布 是一个映射 K ( ω , A ) K(\omega,A) K ( ω , A ) ,满足:对每个 ω \omega ω ,A ↦ K ( ω , A ) A\mapsto K(\omega,A) A ↦ K ( ω , A ) 是概率测度;对每个 A A A ,ω ↦ K ( ω , A ) \omega\mapsto K(\omega,A) ω ↦ K ( ω , A ) 是 G \mathcal G G -可测的。它还必须满足
∫ G K ( ω , A ) P ( d ω ) = P ( G ∩ { X ∈ A } ) , G ∈ G . \int_G K(\omega,A)\,P(d\omega) = P(G\cap\{X\in A\}), \qquad G\in\mathcal G. ∫ G K ( ω , A ) P ( d ω ) = P ( G ∩ { X ∈ A }) , G ∈ G .
这一恒等式是定义中的相容性条件,用于保证条件分布与原概率模型相容。
以随机变量 Y Y Y 为条件时,通常更适合将核写成 K ( y , A ) K(y,A) K ( y , A ) 。概率核 对条件变量可测,对集合变量则为概率测度。此时,所需的恒等式变为
P ( X ∈ A , Y ∈ B ) = ∫ B K ( y , A ) P Y ( d y ) . P(X\in A,Y\in B) = \int_B K(y,A)\,P_Y(dy). P ( X ∈ A , Y ∈ B ) = ∫ B K ( y , A ) P Y ( d y ) .
这表明,对条件分布按 Y Y Y 的边缘分布积分,就能重构联合分布。这种分解是测度分解 的一个实例。
在通常的统计情形下,X X X 和 Y Y Y 取值于标准博雷尔空间 ,此时可以保证条件分布存在。这类空间包括有限集或可数集、配备博雷尔σ代数 的欧几里得空间,以及许多用于描述随机路径的函数空间。更一般地,只要 X X X 的状态空间是标准博雷尔空间,就能保证给定子σ代数的正则条件分布存在。如果缺乏适当的结构性假设,各个示性函数的条件期望可能存在,却不存在与它们相容的正则条件分布。
唯一性是在几乎处处意义下成立的。在标准博雷尔空间的情形中,除去一个 P Y P_Y P Y -测度为零的条件取值集合后,两个条件核作为概率测度相同。它们在某个特定例外点的取值未必由联合分布确定。模型可以选取一个连续或具有其他正则性的版本,从而在该点赋予一个便于使用的值,但这种附加的正则性不同于基本定义中的要求。这一区别自然源于安德雷·柯尔莫哥洛夫 于1933年系统化的概率论测度论方法:概率恒等式只能在相差零测集的意义下确定对象,而不一定能逐点确定对象。
条件矩、独立性与信息 条件分布不仅决定事件的概率,也决定随机变量的函数的期望。若 g ( X ) g(X) g ( X ) 可积,且 K ( y , d x ) K(y,dx) K ( y , d x ) 是一个条件分布,则对几乎所有的 y y y ,都有
E [ g ( X ) ∣ Y = y ] = ∫ g ( x ) K ( y , d x ) E[g(X)\mid Y=y] = \int g(x)\,K(y,dx) E [ g ( X ) ∣ Y = y ] = ∫ g ( x ) K ( y , d x )
取 g ( x ) = x g(x)=x g ( x ) = x 可得条件期望值 ,而取 g ( x ) = x 2 g(x)=x^2 g ( x ) = x 2 则可得条件二阶矩。条件方差 为
Var ( X ∣ Y ) = E [ X 2 ∣ Y ] − E [ X ∣ Y ] 2 . \operatorname{Var}(X\mid Y) = E[X^2\mid Y]-E[X\mid Y]^2. Var ( X ∣ Y ) = E [ X 2 ∣ Y ] − E [ X ∣ Y ] 2 .
完整的分布所包含的信息比这些矩更多:两个条件分布的均值和方差可能完全相同,但偏度、尾部概率或峰的数量却可能不同。
对条件均值取平均,即可得到全期望公式:
E [ X ] = E [ E [ X ∣ Y ] ] . E[X]=E[E[X\mid Y]]. E [ X ] = E [ E [ X ∣ Y ]] .
对于平方可积的 X X X ,全方差公式为
Var ( X ) = E [ Var ( X ∣ Y ) ] + Var ( E [ X ∣ Y ] ) . \operatorname{Var}(X) = E[\operatorname{Var}(X\mid Y)] + \operatorname{Var}(E[X\mid Y]). Var ( X ) = E [ Var ( X ∣ Y )] + Var ( E [ X ∣ Y ]) .
第一项衡量按 Y Y Y 划分的各组内部仍然存在的变异;第二项衡量各组条件均值之间的变异。更一般地,若 H ⊆ G \mathcal H\subseteq\mathcal G H ⊆ G ,则由塔式性质可得
E [ E [ X ∣ G ] ∣ H ] = E [ X ∣ H ] . E[E[X\mid\mathcal G]\mid\mathcal H] = E[X\mid\mathcal H]. E [ E [ X ∣ G ] ∣ H ] = E [ X ∣ H ] .
这表明,先使用较详细的信息,再将信息缩减,所得结果与直接使用较少信息的结果一致。
全方差公式并不意味着,观测到 Y Y Y 的任意一个取值都会使条件方差减小。设 Y Y Y 以相同概率取 0 0 0 或 1 1 1 ,并假定
X ∣ Y = 0 ∼ N ( 0 , 1 ) , X ∣ Y = 1 ∼ N ( 0 , 9 ) . X\mid Y=0\sim N(0,1), \qquad X\mid Y=1\sim N(0,9). X ∣ Y = 0 ∼ N ( 0 , 1 ) , X ∣ Y = 1 ∼ N ( 0 , 9 ) .
此时 Var ( X ) = 5 \operatorname{Var}(X)=5 Var ( X ) = 5 ,但 Var ( X ∣ Y = 1 ) = 9 \operatorname{Var}(X\mid Y=1)=9 Var ( X ∣ Y = 1 ) = 9 。观测到 Y = 1 Y=1 Y = 1 ,就得知 X X X 来自变异程度更大的那个分量。额外信息会降低最优平方预测误差的平均值,但并不意味着,对每一次实际观测,按任意标准衡量的不确定性都会降低。
统计独立性 可以直接用条件分布来刻画。变量 X X X 与 Y Y Y 独立,当且仅当给定 Y Y Y 时 X X X 的条件分布几乎必然等于其边缘分布。仅有条件均值相等是一个更弱的条件。在前面的方差混合例子中,Y Y Y 的两个取值都对应于 E [ X ∣ Y ] = 0 E[X\mid Y]=0 E [ X ∣ Y ] = 0 ,但 X X X 与 Y Y Y 并不独立,因为相应的条件方差不同。同样,相关关系 为零通常也不意味着条件分布与边缘分布相等。
给定 Y Y Y 时 X X X 与 Z Z Z 条件独立 ,意味着一旦已知 Y Y Y ,再获知 Z Z Z 也不会进一步改变 X X X 的条件分布。选取适当的条件分布版本后,有
L ( X ∣ Y , Z ) = L ( X ∣ Y ) . \mathcal L(X\mid Y,Z)=\mathcal L(X\mid Y). L ( X ∣ Y , Z ) = L ( X ∣ Y ) .
对于离散变量,条件熵 是各条件分布的熵的平均值。当相关量均为有限值时,熵的减少量
H ( X ) − H ( X ∣ Y ) = I ( X ; Y ) H(X)-H(X\mid Y)=I(X;Y) H ( X ) − H ( X ∣ Y ) = I ( X ; Y )
就是互信息 。它衡量的是分布层面上平均获得的信息,而不仅仅是均值预测的改善。
重要的分布族 一些经典分布族具有特别有用的条件分布。若 X X X 和 Y Y Y 联合服从多元正态分布 ,其均值向量和协方差矩阵 分别为
( μ X μ Y ) , ( Σ X X Σ X Y Σ Y X Σ Y Y ) , \begin{pmatrix}\mu_X\\\mu_Y\end{pmatrix}, \qquad \begin{pmatrix} \Sigma_{XX}&\Sigma_{XY}\\ \Sigma_{YX}&\Sigma_{YY} \end{pmatrix}, ( μ X μ Y ) , ( Σ X X Σ Y X Σ X Y Σ Y Y ) ,
且 Σ Y Y \Sigma_{YY} Σ Y Y 可逆,则
X ∣ Y = y ∼ N ( μ X + Σ X Y Σ Y Y − 1 ( y − μ Y ) , Σ X X − Σ X Y Σ Y Y − 1 Σ Y X ) . X\mid Y=y\sim N\!\left( \mu_X+\Sigma_{XY}\Sigma_{YY}^{-1}(y-\mu_Y), \Sigma_{XX}-\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX} \right). X ∣ Y = y ∼ N ( μ X + Σ X Y Σ Y Y − 1 ( y − μ Y ) , Σ X X − Σ X Y Σ Y Y − 1 Σ Y X ) .
条件均值是 y y y 的仿射函数,而条件协方差不依赖于 y y y 。后一性质比较特殊:许多非高斯模型的条件离散程度会随观测值而变化。
对于相关系数为 ρ \rho ρ 的标准化标量正态变量,上式简化为
X ∣ Y = y ∼ N ( ρ y , 1 − ρ 2 ) . X\mid Y=y\sim N(\rho y,1-\rho^2). X ∣ Y = y ∼ N ( ρ y , 1 − ρ 2 ) .
若 ρ = 0 \rho=0 ρ = 0 ,条件分布就等于边缘分布,这反映出联合服从高斯分布的变量若不相关,就相互独立。若 ∣ ρ ∣ = 1 |\rho|=1 ∣ ρ ∣ = 1 ,联合分布是奇异的,条件分布则退化为集中于单点的分布。联合正态性至关重要:仅凭边缘分布为正态分布,既不能推出上述条件分布公式,也不能得出独立性的结论。在计算中,上式中的求逆运算通常通过求解线性方程组来实现,而不是显式构造逆矩阵 。
计数分布提供了另一个基本例子。设 X X X 和 Y Y Y 是相互独立的泊松变量,均值分别为正数 λ \lambda λ 和 μ \mu μ 。给定二者之和,有
X ∣ X + Y = n ∼ Binomial ( n , λ λ + μ ) . X\mid X+Y=n \sim \operatorname{Binomial} \left(n,\frac{\lambda}{\lambda+\mu}\right). X ∣ X + Y = n ∼ Binomial ( n , λ + μ λ ) .
事实上,将
P ( X = k , Y = n − k ) = e − ( λ + μ ) λ k μ n − k k ! ( n − k ) ! P(X=k,Y=n-k) = e^{-(\lambda+\mu)} \frac{\lambda^k\mu^{n-k}}{k!(n-k)!} P ( X = k , Y = n − k ) = e − ( λ + μ ) k ! ( n − k )! λ k μ n − k
除以 P ( X + Y = n ) P(X+Y=n) P ( X + Y = n ) ,即可得到二项分布 的概率质量函数。总数描述发生了多少次事件,而条件分布则描述这些事件如何分配到两个类别中。对于更多个相互独立的泊松计数,以它们的总和为条件,便会得到多项分布。
不放回抽样会产生另一种分配规律。在一个含有 N N N 个对象、其中 K K K 个带有标记的总体中,等概率抽取容量为 n n n 的样本,样本中带标记对象的数量 X X X 满足
P ( X = k ∣ K ) = ( K k ) ( N − K n − k ) ( N n ) , P(X=k\mid K) = \frac{\binom Kk\binom{N-K}{n-k}}{\binom Nn}, P ( X = k ∣ K ) = ( n N ) ( k K ) ( n − k N − K ) ,
其中 k k k 取可行值。若 K K K 由设计固定,这只是以 K K K 为参数的抽样分布;若 K K K 是随机的,它才是真正意义上的条件分布。这一区别将参数化分布族与针对参数本身建立的概率模型区分开来。
条件分布族也不一定与其边缘分布属于同一分布族。若 X ∣ Λ = λ X\mid\Lambda=\lambda X ∣ Λ = λ 服从泊松分布,而 Λ \Lambda Λ 服从伽马分布,将 Λ \Lambda Λ 积分消去后,得到的边缘分布是负二项分布。因此,条件分布呈现泊松型变异的同时,边缘方差仍可能大于边缘均值。这类混合构造清楚地说明,分布假设必须明确其所针对的是无条件的总体、某个子群体,还是给定潜变量时的情形。
统计推断与预测分布 在统计学 中,模型通常规定给定参数 θ \theta θ 时观测数据 D D D 的条件分布。如果将参数视为固定值,这就构成了以 θ \theta θ 为索引的一族抽样分布。对于固定的观测数据,将同一个表达式看作 θ \theta θ 的函数,便得到似然函数 。似然函数在参数取值空间上的积分不一定为一,因此不能自动将其视为参数的条件分布。
在贝叶斯推断 中,先验分布 使参数成为联合概率模型的一部分。当分母为正且有限时,贝叶斯定理 给出后验分布
π ( θ ∣ d ) = p ( d ∣ θ ) π ( θ ) ∫ p ( d ∣ u ) π ( u ) d u , \pi(\theta\mid d) = \frac{p(d\mid\theta)\pi(\theta)} {\int p(d\mid u)\pi(u)\,du}, π ( θ ∣ d ) = ∫ p ( d ∣ u ) π ( u ) d u p ( d ∣ θ ) π ( θ ) ,
其中,分母是观测值的边际似然 。这个公式是将参数与数据的角色对调后进行的条件密度计算;其解释取决于先验分布与抽样分布共同确定的联合模型。
举一个具体例子:设 X ∣ θ X\mid\theta X ∣ θ 服从试验次数为 n n n 、成功概率为 θ \theta θ 的二项分布,且 θ \theta θ 服从参数为 a , b > 0 a,b>0 a , b > 0 的贝塔分布 。观测到 X = x X=x X = x 后,
θ ∣ X = x ∼ Beta ( a + x , b + n − x ) . \theta\mid X=x \sim \operatorname{Beta}(a+x,b+n-x). θ ∣ X = x ∼ Beta ( a + x , b + n − x ) .
对于另一个伯努利试验结果 Z Z Z ,若给定 θ \theta θ 时它与 X X X 条件独立,则有
P ( Z = 1 ∣ X = x ) = a + x a + b + n . P(Z=1\mid X=x)=\frac{a+x}{a+b+n}. P ( Z = 1 ∣ X = x ) = a + b + n a + x .
这一预测概率是对成功概率按后验分布取平均得到的,而不是把估计出的参数当作已知且不存在不确定性的值。
更一般地,后验预测分布 为
p ( x ~ ∣ d ) = ∫ p ( x ~ ∣ θ , d ) π ( θ ∣ d ) d θ . p(\widetilde x\mid d) = \int p(\widetilde x\mid\theta,d)\pi(\theta\mid d)\,d\theta. p ( x ∣ d ) = ∫ p ( x ∣ θ , d ) π ( θ ∣ d ) d θ .
如果给定 θ \theta θ 时未来数据与观测数据条件独立,第一个因子就简化为 p ( x ~ ∣ θ ) p(\widetilde x\mid\theta) p ( x ∣ θ ) 。对于多个未来结果,即使它们在给定参数时条件独立,对这个共同的不确定参数积分后,也可能在预测分布中产生相依性。这也是完整的预测分布不同于一组单独的点预测的原因之一。
条件分布还将预测与决策理论 联系起来。在平方误差损失函数 下,最优预测是条件均值。在绝对误差损失下,任一条件中位数 都是最优预测。最小化非对称损失
ρ τ ( u ) = u ( τ − 1 { u < 0 } ) , 0 < τ < 1 , \rho_\tau(u)=u\bigl(\tau-\mathbf1_{\{u<0\}}\bigr), \qquad 0<\tau<1, ρ τ ( u ) = u ( τ − 1 { u < 0 } ) , 0 < τ < 1 ,
得到的是条件分位数 。因此,针对 E [ X ∣ Y ] E[X\mid Y] E [ X ∣ Y ] 的回归模型只规定了条件分布的一个泛函。要计算预测区间、超过阈值的概率或非对称决策风险,还需要额外的分布信息。预测区间 针对的是未来结果,而置信区间针对的是重复抽样框架下的参数;两者不能互换。
随机过程与图模型分解 对于随机过程 ( X t ) (X_t) ( X t ) ,条件分布描述了随着观测不断积累,系统如何演化。滤过 ( F t ) (\mathcal F_t) ( F t ) 表示截至时刻 t t t 可获得的信息。给定 F t \mathcal F_t F t 时 X t + 1 X_{t+1} X t + 1 的分布称为一步预测分布。对于一般的随机过程,它可能依赖于过去的全部观测,而不仅仅依赖于最近的状态。
马尔可夫性质 指出,当前状态包含了预测未来所需的全部历史信息。对于离散时间马尔可夫链 ,
P ( X t + 1 ∈ A ∣ X 0 , … , X t ) = P ( X t + 1 ∈ A ∣ X t ) . P(X_{t+1}\in A\mid X_0,\ldots,X_t) = P(X_{t+1}\in A\mid X_t). P ( X t + 1 ∈ A ∣ X 0 , … , X t ) = P ( X t + 1 ∈ A ∣ X t ) .
时间齐次转移核 K ( x , A ) K(x,A) K ( x , A ) 给出了这一条件分布,且不显式依赖于 t t t 。在有限状态空间中,其取值构成一个转移矩阵 。多步预测通过转移核的复合实现:
K n + m ( x , A ) = ∫ K m ( z , A ) K n ( x , d z ) , K^{n+m}(x,A) = \int K^m(z,A)\,K^n(x,dz), K n + m ( x , A ) = ∫ K m ( z , A ) K n ( x , d z ) ,
这是查普曼—柯尔莫哥洛夫方程 的一种形式。
在隐马尔可夫模型 中,状态无法直接观测,测量只能提供关于状态的部分信息。设 K K K 为转移核,g ( y t ∣ x t ) g(y_t\mid x_t) g ( y t ∣ x t ) 为观测密度,π t − 1 \pi_{t-1} π t − 1 为给定过去观测时前一状态的条件分布,则预测得到
π t ∣ t − 1 ( d x t ) = ∫ K ( x t − 1 , d x t ) π t − 1 ( d x t − 1 ) . \pi_{t\mid t-1}(dx_t) = \int K(x_{t-1},dx_t)\,\pi_{t-1}(dx_{t-1}). π t ∣ t − 1 ( d x t ) = ∫ K ( x t − 1 , d x t ) π t − 1 ( d x t − 1 ) .
随后利用观测更新这一分布:
π t ( d x t ) = g ( y t ∣ x t ) π t ∣ t − 1 ( d x t ) ∫ g ( y t ∣ u ) π t ∣ t − 1 ( d u ) . \pi_t(dx_t) = \frac{g(y_t\mid x_t)\pi_{t\mid t-1}(dx_t)} {\int g(y_t\mid u)\pi_{t\mid t-1}(du)}. π t ( d x t ) = ∫ g ( y t ∣ u ) π t ∣ t − 1 ( d u ) g ( y t ∣ x t ) π t ∣ t − 1 ( d x t ) .
因此,滤波就是交替进行条件预测和依据新证据更新条件分布的过程。在线性高斯模型中,卡尔曼滤波器 利用均值和协方差矩阵实现这些运算。
条件分布也可以用来组织不具有时间顺序的多变量模型。概率的链式法则将联合密度函数或联合概率质量函数分解为
p ( x 1 , … , x n ) = p ( x 1 ) ∏ i = 2 n p ( x i ∣ x 1 , … , x i − 1 ) . p(x_1,\ldots,x_n) = p(x_1)\prod_{i=2}^n p(x_i\mid x_1,\ldots,x_{i-1}). p ( x 1 , … , x n ) = p ( x 1 ) i = 2 ∏ n p ( x i ∣ x 1 , … , x i − 1 ) .
贝叶斯网络 利用有向无环图,将每个变量的全部前驱变量集合替换为一个较小的父节点集合:
p ( x 1 , … , x n ) = ∏ i p ( x i ∣ x p a ( i ) ) . p(x_1,\ldots,x_n) = \prod_i p(x_i\mid x_{\mathrm{pa}(i)}). p ( x 1 , … , x n ) = i ∏ p ( x i ∣ x pa ( i ) ) .
局部条件分布刻画了依赖关系所受的约束,而图结构则有助于实现高效推断。
不过,指定局部条件分布时仍需谨慎。即使给出了一整套完全条件分布,其中每个分布都描述给定其余所有分量时某一分量的分布,也不能自动保证它们与同一个联合分布相容。相容性成立时,这些条件分布可用于吉布斯抽样,这是一种马尔可夫链蒙特卡洛 方法。每次更新都在给定其他分量当前值的条件下,从某一分量的条件分布中抽取新值。目标联合分布在这种更新下保持不变,但要保证从选定的初始点出发能够收敛,还需要额外条件。取值范围狭窄且相互依赖很强的条件分布,也可能使马尔可夫链对联合分布的探索变得缓慢。
估计、条件的选择与因果解释 在实际应用中,联合分布通常未知,因此需要估计条件分布。参数方法指定一个分布族 p θ ( x ∣ y ) p_\theta(x\mid y) p θ ( x ∣ y ) ,并估计参数 θ \theta θ ,通常采用最大似然估计 。广义线性模型 通过指数族结构,以及预测变量与条件均值之间的连接函数,来指定条件分布。还有一些方法估计条件分位数或完整的条件密度。这些方法的统计目标各不相同:均值估计准确,并不意味着尾部概率也估计准确。
非参数估计可以对预测变量取值接近 y y y 的观测赋予更大的权重,以此近似实现条件化。对于标量观测 ( X i , Y i ) (X_i,Y_i) ( X i , Y i ) ,条件密度估计量可以采用以下形式:
f ^ ( x ∣ y ) = ∑ i = 1 n K h ( x − X i ) L b ( y − Y i ) ∑ i = 1 n L b ( y − Y i ) , \widehat f(x\mid y) = \frac{ \sum_{i=1}^n K_h(x-X_i)L_b(y-Y_i) }{ \sum_{i=1}^n L_b(y-Y_i) }, f ( x ∣ y ) = ∑ i = 1 n L b ( y − Y i ) ∑ i = 1 n K h ( x − X i ) L b ( y − Y i ) ,
其中,K h K_h K h 和 L b L_b L b 是非负的核密度函数,带宽分别为 h h h 和 b b b 。分母用于将局部权重归一化。如果 y y y 附近的观测很少,估计就会不稳定,或难以可靠确定。当条件变量较多时,维数灾难 会使局部估计所需的数据量急剧增加,因此需要引入结构性假设、降维或正则化。
条件化还取决于究竟给定了什么信息。当“一个点位于这条曲线上”之类的非形式化表述没有明确指定观测机制时,就会出现一种常见的零概率难题,通常称为博雷尔悖论。对于球面上均匀分布的点,在大圆周围取几何形状不同、逐渐收缩的带状区域,可能会在该大圆上产生不同的极限分布。一旦明确了条件变量或事件收缩的具体方式,就不存在矛盾。歧义源于试图仅凭极限集合本身推断出唯一的条件分布。
最重要的是,基于观测的条件化通常不等同于因果干预。分布
P ( Y ∈ A ∣ X = x ) P(Y\in A\mid X=x) P ( Y ∈ A ∣ X = x )
描述的是在观测到 X = x X=x X = x 的那些个体或情形中,结果如何分布。通过外部干预将 X X X 设为 x x x ,会改变生成 X X X 的机制,其结果分布未必与观测到的这一子群体相同。因此,因果推断 除了需要观测数据的联合分布,还需要关于因果结构或实验分配方式的假设。用于预测的条件模型无论多么准确,都不能仅凭自身识别出改变其预测变量所产生的效应。
条件化甚至可以产生关联。如果 X X X 和 Y Y Y 是两个相互独立的公平硬币投掷结果的指示变量,在给定 X + Y = 1 X+Y=1 X + Y = 1 的条件下,就有 Y = 1 − X Y=1-X Y = 1 − X :在这个筛选出的群体内,两者呈完全负关联。从图模型的角度看,以共同结果为条件,可能会使原本相互独立的原因之间产生依赖。这一机制是某些选择偏差 的成因。与此相关,各组内部的条件关系可能不同于边际关系,因为各组在混合时所占的权重不同。因此,解释条件分布时,需要明确条件变量、由这些变量筛选出的人群,以及观测进入数据集的过程。