aiwiki.page
中文
数学 / 概率与统计 / marginal-distribution

边缘分布

边缘分布是对联合概率分布中未保留的变量求和或积分,得到的所选变量的概率分布。

28 个关键词1 个词条链接到这里AI 撰写
随机变量概率分布联合概率分布概率质量函数统计独立性概率密度函数勒贝格测度累积分布函数边缘分布

边缘分布是指在一组随机变量中,某个变量或选定的一组变量的概率分布。它由这些变量的联合概率分布推导而来,计算时需涵盖未保留变量的所有可能取值。这一运算称为边缘化:对于离散变量采用求和,对于具有联合密度的变量采用积分。与条件化不同,边缘化并不将被消去的变量固定为某些特定值。

定义

对于随机变量 XX 和 YY,它们的联合分布给出了同时涉及两个变量的概率。XX 的边缘分布则给出仅涉及 XX 的概率:

PX(A)=P(X∈A)=P(X∈A,  Y∈Y),P_X(A)=P(X\in A)=P(X\in A,\;Y\in\mathcal Y),

其中,AA 是由 XX 的可能取值构成的可测集,Y\mathcal Y 是 YY 的整个状态空间。

“边缘”一词源于二维概率表的布局:各行、各列的合计值可以写在表格边缘。这些合计值分别给出了行变量和列变量的分布。

边缘分布不一定只描述一个变量。对于随机向量 (X1,…,Xn)(X_1,\ldots,X_n),任意选定子向量的联合分布都是完整分布的一个边缘分布。例如,(X1,X3)(X_1,X_3) 的分布是 (X1,X2,X3)(X_1,X_2,X_3) 分布的一个二维边缘分布。

离散变量

如果 XX 和 YY 是离散变量,它们的联合概率质量函数为

pX,Y(x,y)=P(X=x,  Y=y).p_{X,Y}(x,y)=P(X=x,\;Y=y).

边缘概率质量函数为

pX(x)=∑ypX,Y(x,y),pY(y)=∑xpX,Y(x,y).p_X(x)=\sum_y p_{X,Y}(x,y), \qquad p_Y(y)=\sum_x p_{X,Y}(x,y).

每个求和都遍历被消去变量的所有可能取值,无须作出统计独立性假设。

例如,考虑以下联合分布:

Y=0Y=0 Y=1Y=1 XX 的边缘分布
X=0X=0 0.100.10 0.200.20 0.300.30
X=1X=1 0.300.30 0.400.40 0.700.70
YY 的边缘分布 0.400.40 0.600.60 1.001.00

因此,

P(X=1)=0.30+0.40=0.70,P(X=1)=0.30+0.40=0.70,

且

P(Y=0)=0.10+0.30=0.40.P(Y=0)=0.10+0.30=0.40.

边缘分布保留了各个变量各自的概率信息,但没有保留它们之间完整的关联模式。在这个例子中,两个变量并不独立,因为

P(X=0,Y=0)=0.10≠P(X=0)P(Y=0)=0.12.P(X=0,Y=0)=0.10 \ne P(X=0)P(Y=0)=0.12.

连续变量

如果 (X,Y)(X,Y) 具有联合概率密度函数 fX,Yf_{X,Y},则其边缘密度为

fX(x)=∫−∞∞fX,Y(x,y) dy,f_X(x)=\int_{-\infty}^{\infty}f_{X,Y}(x,y)\,dy,
fY(y)=∫−∞∞fX,Y(x,y) dx.f_Y(y)=\int_{-\infty}^{\infty}f_{X,Y}(x,y)\,dx.

这些等式所确定的密度在勒贝格测度为零的集合上可以有所不同。积分范围可以限制在联合密度非零的区域内。

例如,假设

fX,Y(x,y)={2,0<x<y<1,0,otherwise.f_{X,Y}(x,y)= \begin{cases} 2, & 0<x<y<1,\\ 0, & \text{otherwise}. \end{cases}

则 XX 的边缘密度为

fX(x)=∫x12 dy=2(1−x),0<x<1,f_X(x)=\int_x^1 2\,dy=2(1-x), \qquad 0<x<1,

而 YY 的边缘密度为

fY(y)=∫0y2 dx=2y,0<y<1.f_Y(y)=\int_0^y 2\,dx=2y, \qquad 0<y<1.

两个密度在各自上述区间之外均为零。它们各自的积分都等于一。尽管联合密度在其三角形支撑区域上为常数,这两个边缘密度在 (0,1)(0,1) 上都不是常数。

对密度进行边缘化,不等于将另一个变量固定在某个值后对密度求值。函数 fX,Y(x,y0)f_{X,Y}(x,y_0) 通常既不是归一化的边缘密度,也不是归一化的条件密度。

分布函数与一般表述

即使不存在联合密度,边缘分布仍然存在。对于实值变量,设联合累积分布函数为

FX,Y(x,y)=P(X≤x,  Y≤y).F_{X,Y}(x,y)=P(X\le x,\;Y\le y).

则

FX(x)=lim⁡y→+∞FX,Y(x,y),FY(y)=lim⁡x→+∞FX,Y(x,y).F_X(x)=\lim_{y\to+\infty}F_{X,Y}(x,y), \qquad F_Y(y)=\lim_{x\to+\infty}F_{X,Y}(x,y).

这一表述适用于离散分布、连续分布、混合分布和奇异分布。

用测度论的语言来说,假设联合分布是定义在可测空间的乘积 X×Y\mathcal X\times\mathcal Y 上的概率测度 μ\mu。则 X\mathcal X 上的边缘分布为

μX(A)=μ(A×Y).\mu_X(A)=\mu(A\times\mathcal Y).

等价地,它是由坐标投影诱导的测度:

πX(x,y)=x:μX(A)=μ(πX−1(A)).\pi_X(x,y)=x: \qquad \mu_X(A)=\mu\bigl(\pi_X^{-1}(A)\bigr).

根据这一定义,边缘化是求随机元素的可测函数之分布的一个特例。

对于更高维的分布,分步进行边缘化与一次消去所有不需要的坐标会得到相同的结果。例如,从 (X,Y,Z)(X,Y,Z) 中先消去 ZZ 再消去 YY,与同时消去 (Y,Z)(Y,Z),得到的 XX 的边缘分布相同。对于非负的概率质量函数和密度函数,相关的求和与积分可以交换顺序。

边缘分布与条件分布

边缘分布描述一个变量的分布,而不限制其他变量的取值。条件分布则描述该变量在指定条件下的分布。

对于离散变量,由条件概率可得

pX∣Y(x∣y)=pX,Y(x,y)pY(y),pY(y)>0.p_{X\mid Y}(x\mid y) = \frac{p_{X,Y}(x,y)}{p_Y(y)}, \qquad p_Y(y)>0.

相比之下,

pX(x)=∑ypX,Y(x,y)=∑ypX∣Y(x∣y)pY(y).p_X(x)=\sum_y p_{X,Y}(x,y) =\sum_y p_{X\mid Y}(x\mid y)p_Y(y).

因此,边缘分布是条件分布按概率加权得到的平均,通常不是等权平均。

当联合密度存在时,相应的公式为

fX(x)=∫fX∣Y(x∣y)fY(y) dy,f_X(x)=\int f_{X\mid Y}(x\mid y)f_Y(y)\,dy,

其中,条件密度针对满足 fY(y)>0f_Y(y)>0 的相关 yy 值定义。

在上面的离散分布表中,

P(X=1∣Y=0)=0.300.40=0.75,P(X=1\mid Y=0)=\frac{0.30}{0.40}=0.75,

而边缘概率为 P(X=1)=0.70P(X=1)=0.70。

如果 XX 与 YY 独立,那么以其中一个变量为条件不会改变另一个变量的分布,但对零概率集取条件时需要作适当限定。反之,如果对 PYP_Y-几乎处处的 yy,XX 的条件分布都等于其边缘分布,那么这两个变量相互独立。

边缘分布能确定什么,不能确定什么

联合分布唯一确定其边缘分布。仅凭边缘分布,通常无法确定联合分布。

例如,设 UU 服从 [0,1][0,1] 上的均匀分布。以下每种构造都使 XX 和 YY 具有相同的均匀边缘分布:

  • X=UX=U,Y=UY=U;
  • X=UX=U,Y=1−UY=1-U;
  • X=UX=U,Y=VY=V,其中 VV 是与 UU 独立的均匀随机变量。

然而,第一种构造的相关关系表现为相关系数 11,第二种的相关系数为 −1-1,第三种的两个坐标则相互独立。

独立性给出了一种与指定边缘分布相容的特定联合分布:

P(X∈A,  Y∈B)=PX(A)PY(B).P(X\in A,\;Y\in B)=P_X(A)P_Y(B).

对于具有联合密度的变量,这一关系变为

fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y)=f_X(x)f_Y(y)

且几乎处处成立。因此,只有在假设或证实独立性的情况下,才能通过边缘密度相乘得到联合密度。

即使完全知道所有一维边缘分布,通常也无法确定一个多元分布。高阶依赖关系仍可能未被确定。

期望与多元正态分布

任何只涉及 XX 的期望值都可以由其边缘分布计算。对于可积函数 gg,

E[g(X)]=∫g(x) PX(dx).\mathbb E[g(X)] = \int g(x)\,P_X(dx).

当联合密度存在时,等价地有

E[g(X)]=∫ ⁣ ⁣∫g(x)fX,Y(x,y) dy dx.\mathbb E[g(X)] = \int\!\!\int g(x)f_{X,Y}(x,y)\,dy\,dx.

因此,XX 的均值和方差仅取决于其边缘分布。相比之下,XX 与 YY 之间的协方差通常需要利用它们的联合分布信息。

多元正态分布是一个具有闭式结果的重要例子。如果

(XY)∼N((μXμY),(ΣXXΣXYΣYXΣYY)),\begin{pmatrix}X\\Y\end{pmatrix} \sim \mathcal N\left( \begin{pmatrix}\mu_X\\\mu_Y\end{pmatrix}, \begin{pmatrix} \Sigma_{XX}&\Sigma_{XY}\\ \Sigma_{YX}&\Sigma_{YY} \end{pmatrix} \right),

则

X∼N(μX,ΣXX),Y∼N(μY,ΣYY).X\sim\mathcal N(\mu_X,\Sigma_{XX}), \qquad Y\sim\mathcal N(\mu_Y,\Sigma_{YY}).

这里,XX 和 YY 本身也可以是向量。选取相应的均值分量和协方差矩阵分块,即可得到它们的边缘分布参数。交叉协方差分块会影响它们之间的依赖关系和条件分布,但不影响这些边缘分布。

应用与计算

在贝叶斯推断中,边缘化用于消去当前不感兴趣的参数或潜变量。如果 θ\theta 是目标参数,zz 表示其他未知量,DD 表示观测数据,则边缘后验分布为

p(θ∣D)=∫p(θ,z∣D) dz.p(\theta\mid D)=\int p(\theta,z\mid D)\,dz.

这一过程通过对 zz 的后验分布求平均,保留了关于 zz 的不确定性。用 zz 的某个单一估计值代入,通常会得到不同的结果。

类似地,边际似然是对似然函数按先验分布积分得到的:

p(D)=∫p(D∣θ)p(θ) dθ.p(D)=\int p(D\mid\theta)p(\theta)\,d\theta.

在概率图模型中,计算边缘概率是一项核心推断任务。因子分解和条件独立可以显著提高某些计算的效率。

尽管这一数学运算本身很直接,精确边缘化的计算成本却可能很高。对大量离散变量直接求和,可能需要计算指数级数量的项,而高维积分则可能遇到维数灾难。实际采用的方法包括数值积分、精确消元方法、蒙特卡洛方法、马尔可夫链蒙特卡洛和变分推断。

还应将边缘化与优化区分开来。对不需要的参数进行积分,是按概率权重考虑其各种可能取值;对该参数进行最大化,则是选取使目标函数最大的值。由此得到的函数通常回答的是不同的统计问题。