边缘分布是指在一组随机变量中,某个变量或选定的一组变量的概率分布。它由这些变量的联合概率分布推导而来,计算时需涵盖未保留变量的所有可能取值。这一运算称为边缘化:对于离散变量采用求和,对于具有联合密度的变量采用积分。与条件化不同,边缘化并不将被消去的变量固定为某些特定值。
定义
对于随机变量 X 和 Y,它们的联合分布给出了同时涉及两个变量的概率。X 的边缘分布则给出仅涉及 X 的概率:
PX(A)=P(X∈A)=P(X∈A,Y∈Y),
其中,A 是由 X 的可能取值构成的可测集,Y 是 Y 的整个状态空间。
“边缘”一词源于二维概率表的布局:各行、各列的合计值可以写在表格边缘。这些合计值分别给出了行变量和列变量的分布。
边缘分布不一定只描述一个变量。对于随机向量 (X1,…,Xn),任意选定子向量的联合分布都是完整分布的一个边缘分布。例如,(X1,X3) 的分布是 (X1,X2,X3) 分布的一个二维边缘分布。
离散变量
如果 X 和 Y 是离散变量,它们的联合概率质量函数为
pX,Y(x,y)=P(X=x,Y=y).
边缘概率质量函数为
pX(x)=y∑pX,Y(x,y),pY(y)=x∑pX,Y(x,y).
每个求和都遍历被消去变量的所有可能取值,无须作出统计独立性假设。
例如,考虑以下联合分布:
|
Y=0 |
Y=1 |
X 的边缘分布 |
| X=0 |
0.10 |
0.20 |
0.30 |
| X=1 |
0.30 |
0.40 |
0.70 |
| Y 的边缘分布 |
0.40 |
0.60 |
1.00 |
因此,
P(X=1)=0.30+0.40=0.70,
且
P(Y=0)=0.10+0.30=0.40.
边缘分布保留了各个变量各自的概率信息,但没有保留它们之间完整的关联模式。在这个例子中,两个变量并不独立,因为
P(X=0,Y=0)=0.10=P(X=0)P(Y=0)=0.12.
连续变量
如果 (X,Y) 具有联合概率密度函数 fX,Y,则其边缘密度为
fX(x)=∫−∞∞fX,Y(x,y)dy,
fY(y)=∫−∞∞fX,Y(x,y)dx.
这些等式所确定的密度在勒贝格测度为零的集合上可以有所不同。积分范围可以限制在联合密度非零的区域内。
例如,假设
fX,Y(x,y)={2,0,0<x<y<1,otherwise.
则 X 的边缘密度为
fX(x)=∫x12dy=2(1−x),0<x<1,
而 Y 的边缘密度为
fY(y)=∫0y2dx=2y,0<y<1.
两个密度在各自上述区间之外均为零。它们各自的积分都等于一。尽管联合密度在其三角形支撑区域上为常数,这两个边缘密度在 (0,1) 上都不是常数。
对密度进行边缘化,不等于将另一个变量固定在某个值后对密度求值。函数 fX,Y(x,y0) 通常既不是归一化的边缘密度,也不是归一化的条件密度。
分布函数与一般表述
即使不存在联合密度,边缘分布仍然存在。对于实值变量,设联合累积分布函数为
FX,Y(x,y)=P(X≤x,Y≤y).
则
FX(x)=y→+∞limFX,Y(x,y),FY(y)=x→+∞limFX,Y(x,y).
这一表述适用于离散分布、连续分布、混合分布和奇异分布。
用测度论的语言来说,假设联合分布是定义在可测空间的乘积 X×Y 上的概率测度 μ。则 X 上的边缘分布为
μX(A)=μ(A×Y).
等价地,它是由坐标投影诱导的测度:
πX(x,y)=x:μX(A)=μ(πX−1(A)).
根据这一定义,边缘化是求随机元素的可测函数之分布的一个特例。
对于更高维的分布,分步进行边缘化与一次消去所有不需要的坐标会得到相同的结果。例如,从 (X,Y,Z) 中先消去 Z 再消去 Y,与同时消去 (Y,Z),得到的 X 的边缘分布相同。对于非负的概率质量函数和密度函数,相关的求和与积分可以交换顺序。
边缘分布与条件分布
边缘分布描述一个变量的分布,而不限制其他变量的取值。条件分布则描述该变量在指定条件下的分布。
对于离散变量,由条件概率可得
pX∣Y(x∣y)=pY(y)pX,Y(x,y),pY(y)>0.
相比之下,
pX(x)=y∑pX,Y(x,y)=y∑pX∣Y(x∣y)pY(y).
因此,边缘分布是条件分布按概率加权得到的平均,通常不是等权平均。
当联合密度存在时,相应的公式为
fX(x)=∫fX∣Y(x∣y)fY(y)dy,
其中,条件密度针对满足 fY(y)>0 的相关 y 值定义。
在上面的离散分布表中,
P(X=1∣Y=0)=0.400.30=0.75,
而边缘概率为 P(X=1)=0.70。
如果 X 与 Y 独立,那么以其中一个变量为条件不会改变另一个变量的分布,但对零概率集取条件时需要作适当限定。反之,如果对 PY-几乎处处的 y,X 的条件分布都等于其边缘分布,那么这两个变量相互独立。
边缘分布能确定什么,不能确定什么
联合分布唯一确定其边缘分布。仅凭边缘分布,通常无法确定联合分布。
例如,设 U 服从 [0,1] 上的均匀分布。以下每种构造都使 X 和 Y 具有相同的均匀边缘分布:
- X=U,Y=U;
- X=U,Y=1−U;
- X=U,Y=V,其中 V 是与 U 独立的均匀随机变量。
然而,第一种构造的相关关系表现为相关系数 1,第二种的相关系数为 −1,第三种的两个坐标则相互独立。
独立性给出了一种与指定边缘分布相容的特定联合分布:
P(X∈A,Y∈B)=PX(A)PY(B).
对于具有联合密度的变量,这一关系变为
fX,Y(x,y)=fX(x)fY(y)
且几乎处处成立。因此,只有在假设或证实独立性的情况下,才能通过边缘密度相乘得到联合密度。
即使完全知道所有一维边缘分布,通常也无法确定一个多元分布。高阶依赖关系仍可能未被确定。
期望与多元正态分布
任何只涉及 X 的期望值都可以由其边缘分布计算。对于可积函数 g,
E[g(X)]=∫g(x)PX(dx).
当联合密度存在时,等价地有
E[g(X)]=∫∫g(x)fX,Y(x,y)dydx.
因此,X 的均值和方差仅取决于其边缘分布。相比之下,X 与 Y 之间的协方差通常需要利用它们的联合分布信息。
多元正态分布是一个具有闭式结果的重要例子。如果
(XY)∼N((μXμY),(ΣXXΣYXΣXYΣYY)),
则
X∼N(μX,ΣXX),Y∼N(μY,ΣYY).
这里,X 和 Y 本身也可以是向量。选取相应的均值分量和协方差矩阵分块,即可得到它们的边缘分布参数。交叉协方差分块会影响它们之间的依赖关系和条件分布,但不影响这些边缘分布。
应用与计算
在贝叶斯推断中,边缘化用于消去当前不感兴趣的参数或潜变量。如果 θ 是目标参数,z 表示其他未知量,D 表示观测数据,则边缘后验分布为
p(θ∣D)=∫p(θ,z∣D)dz.
这一过程通过对 z 的后验分布求平均,保留了关于 z 的不确定性。用 z 的某个单一估计值代入,通常会得到不同的结果。
类似地,边际似然是对似然函数按先验分布积分得到的:
p(D)=∫p(D∣θ)p(θ)dθ.
在概率图模型中,计算边缘概率是一项核心推断任务。因子分解和条件独立可以显著提高某些计算的效率。
尽管这一数学运算本身很直接,精确边缘化的计算成本却可能很高。对大量离散变量直接求和,可能需要计算指数级数量的项,而高维积分则可能遇到维数灾难。实际采用的方法包括数值积分、精确消元方法、蒙特卡洛方法、马尔可夫链蒙特卡洛和变分推断。
还应将边缘化与优化区分开来。对不需要的参数进行积分,是按概率权重考虑其各种可能取值;对该参数进行最大化,则是选取使目标函数最大的值。由此得到的函数通常回答的是不同的统计问题。