aiwiki.page
中文
数学 / 概率与统计 / conditional-distribution

条件分布

条件分布描述在给定另一随机量或一组信息后,某个随机量的概率分布。

61 个关键词1 个词条链接到这里4 个尚未撰写AI 撰写
随机变量概率分布联合概率分布条件概率概率质量函数泊松分布勒贝格测度概率密度函数条件分布

条件分布是指在给定另一个变量的取值、某个事件的发生或一组信息时,某个随机变量的概率分布。无条件分布描述整个总体或实验中的变异情况,而条件分布描述由条件信息限定的情形下的变异情况。例如,给定气温时,每日用电需求的分布可能与所有日期的用电需求分布有显著差异。

条件分布将联合概率分布与预测、统计推断以及对动态随机系统的数学描述联系起来。对于离散变量,条件分布可通过将联合概率除以边缘概率得到。对于具有概率密度的变量,只要作为条件的变量在给定取值处的密度为正,就可以使用类似的比值。更一般的表述使用概率核与条件期望,既允许以连续分布的观测值为条件,也能处理没有密度的分布。这些表述为回归、贝叶斯更新、随机过程和概率计算奠定了基础,同时也阐明了为什么以某个观测值为条件,通常并不等同于通过干预改变它。

初等定义与离散分布

初等定义从条件概率出发。若 BB 是满足 P(B)>0P(B)>0 的事件,则给定 BB 时,实值随机变量 XX 的条件分布为每个博雷尔集 AA 赋予如下概率:

P(X∈A∣B)=P({X∈A}∩B)P(B).P(X\in A\mid B) = \frac{P(\{X\in A\}\cap B)}{P(B)}.

作为 AA 的函数,它是一个概率测度:取值非负,赋予整个实数轴的概率为一,并且具有可列可加性。因此,条件化得到的是一个完整的概率分布,而不仅仅是一个经过修正的概率值。这个分布的各种常见特征——均值、方差、分位数和事件概率——都可以加以研究。

对于离散随机变量 XX 和 YY,以 Y=yY=y 为条件,得到条件概率质量函数

pX∣Y(x∣y)=pX,Y(x,y)pY(y),pY(y)>0,p_{X\mid Y}(x\mid y) = \frac{p_{X,Y}(x,y)}{p_Y(y)}, \qquad p_Y(y)>0,

其中

pY(y)=∑xpX,Y(x,y).p_Y(y)=\sum_x p_{X,Y}(x,y).

因此,将联合概率表中相应的行或列分别归一化,就能得到条件分布。记号 X∣Y=yX\mid Y=y 是描述具有这一条件分布的随机变量的惯用写法,并不表示随机变量之间的除法。

例如,掷两枚相互独立的公平六面骰子,令 XX 为第一枚骰子的点数,SS 为两枚骰子的点数之和。给定 S=8S=8,可能的有序结果为

(2,6),(3,5),(4,4),(5,3),(6,2).(2,6),(3,5),(4,4),(5,3),(6,2).

每个结果的条件概率都是 1/51/5,因此 XX 的条件分布是 {2,3,4,5,6}\{2,3,4,5,6\} 上的均匀分布。而它的无条件分布是 {1,…,6}\{1,\ldots,6\} 上的均匀分布。给定点数之和,既改变了第一枚骰子点数分布的支撑集,也改变了各点数的概率,尽管两枚骰子本身都没有发生任何物理变化。

另一个例子说明,条件化是对试验结果施加限制,而不是替换试验。设 NN 服从均值为 λ>0\lambda>0 的泊松分布。以至少发生一次为条件,有

P(N=n∣N>0)=e−λλn/n!1−e−λ,n=1,2,….P(N=n\mid N>0) = \frac{e^{-\lambda}\lambda^n/n!}{1-e^{-\lambda}}, \qquad n=1,2,\ldots.

这就是零截断泊松分布。当抽样过程只能记录计数为正的个体时,就会出现这类分布。其条件均值为 λ/(1−e−λ)\lambda/(1-e^{-\lambda}),而不是 λ\lambda,因为计数为零的结果已被排除。

对条件变量取平均,还可以由条件分布还原原来的分布:

P(X∈A)=∑yP(X∈A∣Y=y)P(Y=y).P(X\in A) = \sum_y P(X\in A\mid Y=y)P(Y=y).

这个恒等式将无条件分布表示为条件分布的混合。反过来,指定 YY 的边缘分布,并为每个可能的 yy 指定给定该值时 XX 的条件分布,就确定了二者的联合分布。条件化的方向很重要:pX∣Y(x∣y)p_{X\mid Y}(x\mid y) 与 pY∣X(y∣x)p_{Y\mid X}(y\mid x) 通常不同,因为它们归一化的是同一张联合概率表中的不同部分。

连续、混合与奇异条件分布

当 (X,Y)(X,Y) 相对于二维勒贝格测度具有联合概率密度函数时,YY 的边缘密度为

fY(y)=∫RfX,Y(x,y) dx.f_Y(y)=\int_{\mathbb R}f_{X,Y}(x,y)\,dx.

对于 fY(y)>0f_Y(y)>0,一个条件密度为

fX∣Y(x∣y)=fX,Y(x,y)fY(y).f_{X\mid Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}.

随后可通过积分得到条件概率:

P(X∈A∣Y=y)=∫AfX∣Y(x∣y) dx.P(X\in A\mid Y=y) = \int_A f_{X\mid Y}(x\mid y)\,dx.

这个公式看起来与离散情形中的比值公式相似,但含义不同。通常 P(Y=y)=0P(Y=y)=0,因此它并不是将事件 {X∈A,Y=y}\{X\in A,Y=y\} 与 {Y=y}\{Y=y\} 的概率相除而得到的。

在适当的连续性假设下,密度公式与以小区间为条件时的极限一致:

P(X∈A∣Y=y)=lim⁡ε↓0P(X∈A∣∣Y−y∣<ε).P(X\in A\mid Y=y) = \lim_{\varepsilon\downarrow0} P(X\in A\mid |Y-y|<\varepsilon).

这样的极限有助于理解条件分布,但不能作为在每一点都普遍有效的定义。更一般地,利用微分定理可以证明,对几乎所有条件取值,相应的区间极限关系都成立。此外,还必须明确具体采用哪种条件化方式:不同的收缩事件族未必表达相同的信息。

考虑从三角形区域

0<x<y<1.0<x<y<1.

中均匀选取一个点。其联合密度在该三角形内为 22,在其他地方为零。由于

fY(y)=2y,0<y<1,f_Y(y)=2y,\qquad 0<y<1,

条件密度为

fX∣Y(x∣y)=1y,0<x<y.f_{X\mid Y}(x\mid y) = \frac1y,\qquad 0<x<y.

因此,X∣Y=yX\mid Y=y 服从区间 (0,y)(0,y) 上的均匀分布。尽管 YY 取任一确切值的概率都为零,条件分布仍具有自然且明确的形式。

并非所有联合分布都有密度,也并非所有条件分布都是连续的。如果 Y=XY=X,那么在给定 Y=yY=y 时,变量 XX 以概率一等于 yy。其条件分布是在 yy 处的点质量 δy\delta_y。即使 XX 具有连续的边缘密度,(X,Y)(X,Y) 的联合分布也集中在对角线上,不存在二维密度。在这个例子中使用联合密度的比值公式并不恰当。

处理混合分布时也需要同样谨慎。降水模型可以赋予降水量为零的情形一个正的条件概率,并用连续密度描述正降水量:

L(X∣Y=y)=π(y)δ0+[1−π(y)]Gy,\mathcal L(X\mid Y=y) = \pi(y)\delta_0+ [1-\pi(y)]G_y,

其中,GyG_y 仅在正值上取概率。条件累积分布函数

FX∣Y(x∣y)=P(X≤x∣Y=y),F_{X\mid Y}(x\mid y)=P(X\le x\mid Y=y),

无需假设密度存在,就能涵盖离散、连续和混合情形。它的跳跃对应条件点质量,而连续部分则描述其余的概率。

测度论表述与存在性

现代的一般表述以测度论为基础。在概率空间 (Ω,F,P)(\Omega,\mathcal F,P) 上,子σ代数 G⊆F\mathcal G\subseteq\mathcal F 表示可用的信息。对于 XX 的状态空间中的每个可测集 AA,条件概率定义为如下条件期望:

P(X∈A∣G)=E[1{X∈A}∣G],P(X\in A\mid\mathcal G) = E[\mathbf 1_{\{X\in A\}}\mid\mathcal G],

其中,1{X∈A}\mathbf 1_{\{X\in A\}} 是示性函数。这个对象是一个 G\mathcal G-可测随机变量,其定义在几乎处处相等的意义下唯一。

要将这些条件概率组合成一个条件分布,就必须对各个集合 AA 一致地选取它们的版本。正则条件分布是一个映射 K(ω,A)K(\omega,A),满足:对每个 ω\omega,A↦K(ω,A)A\mapsto K(\omega,A) 是概率测度;对每个 AA,ω↦K(ω,A)\omega\mapsto K(\omega,A) 是 G\mathcal G-可测的。它还必须满足

∫GK(ω,A) P(dω)=P(G∩{X∈A}),G∈G.\int_G K(\omega,A)\,P(d\omega) = P(G\cap\{X\in A\}), \qquad G\in\mathcal G.

这一恒等式是定义中的相容性条件,用于保证条件分布与原概率模型相容。

以随机变量 YY 为条件时,通常更适合将核写成 K(y,A)K(y,A)。概率核对条件变量可测,对集合变量则为概率测度。此时,所需的恒等式变为

P(X∈A,Y∈B)=∫BK(y,A) PY(dy).P(X\in A,Y\in B) = \int_B K(y,A)\,P_Y(dy).

这表明,对条件分布按 YY 的边缘分布积分,就能重构联合分布。这种分解是测度分解的一个实例。

在通常的统计情形下,XX 和 YY 取值于标准博雷尔空间,此时可以保证条件分布存在。这类空间包括有限集或可数集、配备博雷尔σ代数的欧几里得空间,以及许多用于描述随机路径的函数空间。更一般地,只要 XX 的状态空间是标准博雷尔空间,就能保证给定子σ代数的正则条件分布存在。如果缺乏适当的结构性假设,各个示性函数的条件期望可能存在,却不存在与它们相容的正则条件分布。

唯一性是在几乎处处意义下成立的。在标准博雷尔空间的情形中,除去一个 PYP_Y-测度为零的条件取值集合后,两个条件核作为概率测度相同。它们在某个特定例外点的取值未必由联合分布确定。模型可以选取一个连续或具有其他正则性的版本,从而在该点赋予一个便于使用的值,但这种附加的正则性不同于基本定义中的要求。这一区别自然源于安德雷·柯尔莫哥洛夫于1933年系统化的概率论测度论方法:概率恒等式只能在相差零测集的意义下确定对象,而不一定能逐点确定对象。

条件矩、独立性与信息

条件分布不仅决定事件的概率,也决定随机变量的函数的期望。若 g(X)g(X) 可积,且 K(y,dx)K(y,dx) 是一个条件分布,则对几乎所有的 yy,都有

E[g(X)∣Y=y]=∫g(x) K(y,dx)E[g(X)\mid Y=y] = \int g(x)\,K(y,dx)

取 g(x)=xg(x)=x 可得条件期望值,而取 g(x)=x2g(x)=x^2 则可得条件二阶矩。条件方差为

Var⁡(X∣Y)=E[X2∣Y]−E[X∣Y]2.\operatorname{Var}(X\mid Y) = E[X^2\mid Y]-E[X\mid Y]^2.

完整的分布所包含的信息比这些矩更多:两个条件分布的均值和方差可能完全相同,但偏度、尾部概率或峰的数量却可能不同。

对条件均值取平均,即可得到全期望公式:

E[X]=E[E[X∣Y]].E[X]=E[E[X\mid Y]].

对于平方可积的 XX,全方差公式为

Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y]).\operatorname{Var}(X) = E[\operatorname{Var}(X\mid Y)] + \operatorname{Var}(E[X\mid Y]).

第一项衡量按 YY 划分的各组内部仍然存在的变异;第二项衡量各组条件均值之间的变异。更一般地,若 H⊆G\mathcal H\subseteq\mathcal G,则由塔式性质可得

E[E[X∣G]∣H]=E[X∣H].E[E[X\mid\mathcal G]\mid\mathcal H] = E[X\mid\mathcal H].

这表明,先使用较详细的信息,再将信息缩减,所得结果与直接使用较少信息的结果一致。

全方差公式并不意味着,观测到 YY 的任意一个取值都会使条件方差减小。设 YY 以相同概率取 00 或 11,并假定

X∣Y=0∼N(0,1),X∣Y=1∼N(0,9).X\mid Y=0\sim N(0,1), \qquad X\mid Y=1\sim N(0,9).

此时 Var⁡(X)=5\operatorname{Var}(X)=5,但 Var⁡(X∣Y=1)=9\operatorname{Var}(X\mid Y=1)=9。观测到 Y=1Y=1,就得知 XX 来自变异程度更大的那个分量。额外信息会降低最优平方预测误差的平均值,但并不意味着,对每一次实际观测,按任意标准衡量的不确定性都会降低。

统计独立性可以直接用条件分布来刻画。变量 XX 与 YY 独立,当且仅当给定 YY 时 XX 的条件分布几乎必然等于其边缘分布。仅有条件均值相等是一个更弱的条件。在前面的方差混合例子中,YY 的两个取值都对应于 E[X∣Y]=0E[X\mid Y]=0,但 XX 与 YY 并不独立,因为相应的条件方差不同。同样,相关关系为零通常也不意味着条件分布与边缘分布相等。

给定 YY 时 XX 与 ZZ 条件独立,意味着一旦已知 YY,再获知 ZZ 也不会进一步改变 XX 的条件分布。选取适当的条件分布版本后,有

L(X∣Y,Z)=L(X∣Y).\mathcal L(X\mid Y,Z)=\mathcal L(X\mid Y).

对于离散变量,条件熵是各条件分布的熵的平均值。当相关量均为有限值时,熵的减少量

H(X)−H(X∣Y)=I(X;Y)H(X)-H(X\mid Y)=I(X;Y)

就是互信息。它衡量的是分布层面上平均获得的信息,而不仅仅是均值预测的改善。

重要的分布族

一些经典分布族具有特别有用的条件分布。若 XX 和 YY 联合服从多元正态分布,其均值向量和协方差矩阵分别为

(μXμY),(ΣXXΣXYΣYXΣYY),\begin{pmatrix}\mu_X\\\mu_Y\end{pmatrix}, \qquad \begin{pmatrix} \Sigma_{XX}&\Sigma_{XY}\\ \Sigma_{YX}&\Sigma_{YY} \end{pmatrix},

且 ΣYY\Sigma_{YY} 可逆,则

X∣Y=y∼N ⁣(μX+ΣXYΣYY−1(y−μY),ΣXX−ΣXYΣYY−1ΣYX).X\mid Y=y\sim N\!\left( \mu_X+\Sigma_{XY}\Sigma_{YY}^{-1}(y-\mu_Y), \Sigma_{XX}-\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX} \right).

条件均值是 yy 的仿射函数,而条件协方差不依赖于 yy。后一性质比较特殊:许多非高斯模型的条件离散程度会随观测值而变化。

对于相关系数为 ρ\rho 的标准化标量正态变量,上式简化为

X∣Y=y∼N(ρy,1−ρ2).X\mid Y=y\sim N(\rho y,1-\rho^2).

若 ρ=0\rho=0,条件分布就等于边缘分布,这反映出联合服从高斯分布的变量若不相关,就相互独立。若 ∣ρ∣=1|\rho|=1,联合分布是奇异的,条件分布则退化为集中于单点的分布。联合正态性至关重要:仅凭边缘分布为正态分布,既不能推出上述条件分布公式,也不能得出独立性的结论。在计算中,上式中的求逆运算通常通过求解线性方程组来实现,而不是显式构造逆矩阵。

计数分布提供了另一个基本例子。设 XX 和 YY 是相互独立的泊松变量,均值分别为正数 λ\lambda 和 μ\mu。给定二者之和,有

X∣X+Y=n∼Binomial⁡(n,λλ+μ).X\mid X+Y=n \sim \operatorname{Binomial} \left(n,\frac{\lambda}{\lambda+\mu}\right).

事实上,将

P(X=k,Y=n−k)=e−(λ+μ)λkμn−kk!(n−k)!P(X=k,Y=n-k) = e^{-(\lambda+\mu)} \frac{\lambda^k\mu^{n-k}}{k!(n-k)!}

除以 P(X+Y=n)P(X+Y=n),即可得到二项分布的概率质量函数。总数描述发生了多少次事件,而条件分布则描述这些事件如何分配到两个类别中。对于更多个相互独立的泊松计数,以它们的总和为条件,便会得到多项分布。

不放回抽样会产生另一种分配规律。在一个含有 NN 个对象、其中 KK 个带有标记的总体中,等概率抽取容量为 nn 的样本,样本中带标记对象的数量 XX 满足

P(X=k∣K)=(Kk)(N−Kn−k)(Nn),P(X=k\mid K) = \frac{\binom Kk\binom{N-K}{n-k}}{\binom Nn},

其中 kk 取可行值。若 KK 由设计固定,这只是以 KK 为参数的抽样分布;若 KK 是随机的,它才是真正意义上的条件分布。这一区别将参数化分布族与针对参数本身建立的概率模型区分开来。

条件分布族也不一定与其边缘分布属于同一分布族。若 X∣Λ=λX\mid\Lambda=\lambda 服从泊松分布,而 Λ\Lambda 服从伽马分布,将 Λ\Lambda 积分消去后,得到的边缘分布是负二项分布。因此,条件分布呈现泊松型变异的同时,边缘方差仍可能大于边缘均值。这类混合构造清楚地说明,分布假设必须明确其所针对的是无条件的总体、某个子群体,还是给定潜变量时的情形。

统计推断与预测分布

在统计学中,模型通常规定给定参数 θ\theta 时观测数据 DD 的条件分布。如果将参数视为固定值,这就构成了以 θ\theta 为索引的一族抽样分布。对于固定的观测数据,将同一个表达式看作 θ\theta 的函数,便得到似然函数。似然函数在参数取值空间上的积分不一定为一,因此不能自动将其视为参数的条件分布。

在贝叶斯推断中,先验分布使参数成为联合概率模型的一部分。当分母为正且有限时,贝叶斯定理给出后验分布

π(θ∣d)=p(d∣θ)π(θ)∫p(d∣u)π(u) du,\pi(\theta\mid d) = \frac{p(d\mid\theta)\pi(\theta)} {\int p(d\mid u)\pi(u)\,du},

其中,分母是观测值的边际似然。这个公式是将参数与数据的角色对调后进行的条件密度计算;其解释取决于先验分布与抽样分布共同确定的联合模型。

举一个具体例子:设 X∣θX\mid\theta 服从试验次数为 nn、成功概率为 θ\theta 的二项分布,且 θ\theta 服从参数为 a,b>0a,b>0 的贝塔分布。观测到 X=xX=x 后,

θ∣X=x∼Beta⁡(a+x,b+n−x).\theta\mid X=x \sim \operatorname{Beta}(a+x,b+n-x).

对于另一个伯努利试验结果 ZZ,若给定 θ\theta 时它与 XX 条件独立,则有

P(Z=1∣X=x)=a+xa+b+n.P(Z=1\mid X=x)=\frac{a+x}{a+b+n}.

这一预测概率是对成功概率按后验分布取平均得到的,而不是把估计出的参数当作已知且不存在不确定性的值。

更一般地,后验预测分布为

p(x~∣d)=∫p(x~∣θ,d)π(θ∣d) dθ.p(\widetilde x\mid d) = \int p(\widetilde x\mid\theta,d)\pi(\theta\mid d)\,d\theta.

如果给定 θ\theta 时未来数据与观测数据条件独立,第一个因子就简化为 p(x~∣θ)p(\widetilde x\mid\theta)。对于多个未来结果,即使它们在给定参数时条件独立,对这个共同的不确定参数积分后,也可能在预测分布中产生相依性。这也是完整的预测分布不同于一组单独的点预测的原因之一。

条件分布还将预测与决策理论联系起来。在平方误差损失函数下,最优预测是条件均值。在绝对误差损失下,任一条件中位数都是最优预测。最小化非对称损失

ρτ(u)=u(τ−1{u<0}),0<τ<1,\rho_\tau(u)=u\bigl(\tau-\mathbf1_{\{u<0\}}\bigr), \qquad 0<\tau<1,

得到的是条件分位数。因此,针对 E[X∣Y]E[X\mid Y] 的回归模型只规定了条件分布的一个泛函。要计算预测区间、超过阈值的概率或非对称决策风险,还需要额外的分布信息。预测区间针对的是未来结果,而置信区间针对的是重复抽样框架下的参数;两者不能互换。

随机过程与图模型分解

对于随机过程 (Xt)(X_t),条件分布描述了随着观测不断积累,系统如何演化。滤过 (Ft)(\mathcal F_t) 表示截至时刻 tt 可获得的信息。给定 Ft\mathcal F_t 时 Xt+1X_{t+1} 的分布称为一步预测分布。对于一般的随机过程,它可能依赖于过去的全部观测,而不仅仅依赖于最近的状态。

马尔可夫性质指出,当前状态包含了预测未来所需的全部历史信息。对于离散时间马尔可夫链,

P(Xt+1∈A∣X0,…,Xt)=P(Xt+1∈A∣Xt).P(X_{t+1}\in A\mid X_0,\ldots,X_t) = P(X_{t+1}\in A\mid X_t).

时间齐次转移核 K(x,A)K(x,A) 给出了这一条件分布,且不显式依赖于 tt。在有限状态空间中,其取值构成一个转移矩阵。多步预测通过转移核的复合实现:

Kn+m(x,A)=∫Km(z,A) Kn(x,dz),K^{n+m}(x,A) = \int K^m(z,A)\,K^n(x,dz),

这是查普曼—柯尔莫哥洛夫方程的一种形式。

在隐马尔可夫模型中,状态无法直接观测,测量只能提供关于状态的部分信息。设 KK 为转移核,g(yt∣xt)g(y_t\mid x_t) 为观测密度,πt−1\pi_{t-1} 为给定过去观测时前一状态的条件分布,则预测得到

πt∣t−1(dxt)=∫K(xt−1,dxt) πt−1(dxt−1).\pi_{t\mid t-1}(dx_t) = \int K(x_{t-1},dx_t)\,\pi_{t-1}(dx_{t-1}).

随后利用观测更新这一分布:

πt(dxt)=g(yt∣xt)πt∣t−1(dxt)∫g(yt∣u)πt∣t−1(du).\pi_t(dx_t) = \frac{g(y_t\mid x_t)\pi_{t\mid t-1}(dx_t)} {\int g(y_t\mid u)\pi_{t\mid t-1}(du)}.

因此,滤波就是交替进行条件预测和依据新证据更新条件分布的过程。在线性高斯模型中,卡尔曼滤波器利用均值和协方差矩阵实现这些运算。

条件分布也可以用来组织不具有时间顺序的多变量模型。概率的链式法则将联合密度函数或联合概率质量函数分解为

p(x1,…,xn)=p(x1)∏i=2np(xi∣x1,…,xi−1).p(x_1,\ldots,x_n) = p(x_1)\prod_{i=2}^n p(x_i\mid x_1,\ldots,x_{i-1}).

贝叶斯网络利用有向无环图,将每个变量的全部前驱变量集合替换为一个较小的父节点集合:

p(x1,…,xn)=∏ip(xi∣xpa(i)).p(x_1,\ldots,x_n) = \prod_i p(x_i\mid x_{\mathrm{pa}(i)}).

局部条件分布刻画了依赖关系所受的约束,而图结构则有助于实现高效推断。

不过,指定局部条件分布时仍需谨慎。即使给出了一整套完全条件分布,其中每个分布都描述给定其余所有分量时某一分量的分布,也不能自动保证它们与同一个联合分布相容。相容性成立时,这些条件分布可用于吉布斯抽样,这是一种马尔可夫链蒙特卡洛方法。每次更新都在给定其他分量当前值的条件下,从某一分量的条件分布中抽取新值。目标联合分布在这种更新下保持不变,但要保证从选定的初始点出发能够收敛,还需要额外条件。取值范围狭窄且相互依赖很强的条件分布,也可能使马尔可夫链对联合分布的探索变得缓慢。

估计、条件的选择与因果解释

在实际应用中,联合分布通常未知,因此需要估计条件分布。参数方法指定一个分布族 pθ(x∣y)p_\theta(x\mid y),并估计参数 θ\theta,通常采用最大似然估计。广义线性模型通过指数族结构,以及预测变量与条件均值之间的连接函数,来指定条件分布。还有一些方法估计条件分位数或完整的条件密度。这些方法的统计目标各不相同:均值估计准确,并不意味着尾部概率也估计准确。

非参数估计可以对预测变量取值接近 yy 的观测赋予更大的权重,以此近似实现条件化。对于标量观测 (Xi,Yi)(X_i,Y_i),条件密度估计量可以采用以下形式:

f^(x∣y)=∑i=1nKh(x−Xi)Lb(y−Yi)∑i=1nLb(y−Yi),\widehat f(x\mid y) = \frac{ \sum_{i=1}^n K_h(x-X_i)L_b(y-Y_i) }{ \sum_{i=1}^n L_b(y-Y_i) },

其中,KhK_h 和 LbL_b 是非负的核密度函数,带宽分别为 hh 和 bb。分母用于将局部权重归一化。如果 yy 附近的观测很少,估计就会不稳定,或难以可靠确定。当条件变量较多时,维数灾难会使局部估计所需的数据量急剧增加,因此需要引入结构性假设、降维或正则化。

条件化还取决于究竟给定了什么信息。当“一个点位于这条曲线上”之类的非形式化表述没有明确指定观测机制时,就会出现一种常见的零概率难题,通常称为博雷尔悖论。对于球面上均匀分布的点,在大圆周围取几何形状不同、逐渐收缩的带状区域,可能会在该大圆上产生不同的极限分布。一旦明确了条件变量或事件收缩的具体方式,就不存在矛盾。歧义源于试图仅凭极限集合本身推断出唯一的条件分布。

最重要的是,基于观测的条件化通常不等同于因果干预。分布

P(Y∈A∣X=x)P(Y\in A\mid X=x)

描述的是在观测到 X=xX=x 的那些个体或情形中,结果如何分布。通过外部干预将 XX 设为 xx,会改变生成 XX 的机制,其结果分布未必与观测到的这一子群体相同。因此,因果推断除了需要观测数据的联合分布,还需要关于因果结构或实验分配方式的假设。用于预测的条件模型无论多么准确,都不能仅凭自身识别出改变其预测变量所产生的效应。

条件化甚至可以产生关联。如果 XX 和 YY 是两个相互独立的公平硬币投掷结果的指示变量,在给定 X+Y=1X+Y=1 的条件下,就有 Y=1−XY=1-X:在这个筛选出的群体内,两者呈完全负关联。从图模型的角度看,以共同结果为条件,可能会使原本相互独立的原因之间产生依赖。这一机制是某些选择偏差的成因。与此相关,各组内部的条件关系可能不同于边际关系,因为各组在混合时所占的权重不同。因此,解释条件分布时,需要明确条件变量、由这些变量筛选出的人群,以及观测进入数据集的过程。