概率图模型 · aiwiki.page

概率图模型（PGM）是将图与局部概率函数相结合，用于表示联合概率分布的数学模型。图描述随机变量之间的关系，函数则规定这些变量取值的分布。图模型将概率论与图论联系起来，为表示不确定性、计算预测结果和学习统计结构提供了框架。它们广泛应用于统计学、机器学习以及通信、信号处理等领域。(stat.berkeley.edu)

表示与条件独立

图模型将定性结构与定量描述分开。图编码了条件独立假设，参数则确定与这些假设相容的具体分布。变量可以是离散的或连续的，也可以是可观测的或不可观测的。不同的图结构对其能够表示的分布施加不同的限制。(cs.cmu.edu)

条件独立是指，在给定条件变量的取值已知后，获知一个变量的信息不会为另一个变量提供额外信息。它不同于无条件的统计独立性。这些关系使得规模庞大的分布能够通过较小的组成部分来表示，而不必用一张不受约束的表列出所有可能的联合赋值。因此，图表示的是统计假设，而不只是数据中关联关系的示意图。图模型的分析通常围绕三项任务展开：表示、推断和学习。(cs.cmu.edu)

有向模型

贝叶斯网络采用有向无环图。每个节点代表一个变量，指向该节点的相邻节点称为它的父节点。联合分布可分解为

p(x_1,\ldots,x_n) =\prod_{i=1}^{n}p(x_i\mid x_{\mathrm{pa}(i)}),

其中， $\mathrm{pa}(i)$ 表示节点 $i$ 的父节点集合。每个因子都是归一化的条件概率分布。这种表示表达了如下假设：给定一个变量的父节点后，该变量与其所有非后代节点独立。(ftp.cs.ucla.edu)

图判据d分离用于识别网络所蕴含的条件独立关系。需要注意的是，箭头并不自动意味着因果关系：贝叶斯网络可能仅仅编码概率分布的因子分解。要赋予它因果解释，还需要对变量的生成过程以及干预发生时的情况作出额外假设。因此，概率条件化与因果推断是相互关联但不同的操作。(ftp.cs.ucla.edu)

无向模型与因子图

马尔可夫随机场又称马尔可夫网络，采用无向图。其分布可写为

p(x)=\frac{1}{Z}\prod_{C}\psi_C(x_C),

其中， $C$ 遍历指定的团，即内部节点两两相连的节点子集， $\psi_C$ 是非负势函数。势函数表达各变量取值组合的相容程度，本身不必是概率。配分函数 $Z$ 用于将这些势函数的乘积归一化；对于离散变量，它等于该乘积在所有赋值上的总和。计算配分函数的代价可能很高。(cs.cmu.edu)

无向图中的分离关系表达条件独立性：如果一个节点集合将另外两个节点集合分隔开，那么给定分隔集合中变量的取值后，另外两个集合中的变量条件独立。因子图通过两类节点——变量节点和因子节点——显式表示因子分解，并用边将每个因子与其涉及的变量连接起来。有向模型和无向模型的因子分解都可以用这种方式表示，从而为消息传递算法提供便利的基础。(arxiv.org)

概率推断

推断是根据已确定的模型计算所需的量。典型查询包括：给定证据后某个未观测变量的分布、观测数据的概率，或概率最大的联合赋值。计算边缘概率需要对查询中未包含的变量求和或积分。寻找概率最大的赋值则涉及最大化；这些操作回答的是不同的问题。(stat.berkeley.edu)

精确方法包括依次合并因子并消去变量的变量消去，以及传递局部消息的置信传播。在树结构的因子图上，和积消息传递可以计算精确的边缘分布。更一般的图可以通过联结树方法处理，但其计算代价在很大程度上取决于衡量结构复杂度的树宽。对于离散模型，中间因子的规模可能随所涉及变量组的大小呈指数增长，因此，紧凑的表示并不保证推断的计算代价低。(cs.columbia.edu)

当精确计算不可行时，可以采用马尔可夫链蒙特卡洛和变分推断等近似方法。采样方法利用生成的样本估计所需的量。变分方法将困难的计算替换为在较易处理的分布族上进行优化，有时还能得到概率或似然的界。其准确性取决于所选的近似分布族和具体模型。(people.eecs.berkeley.edu)

参数学习与结构学习

参数学习在保持图结构不变的情况下，根据数据估计局部分布或势函数。常用方法包括最大似然估计和贝叶斯推断。在所有变量均被观测到的有向模型中，因子分解可以将估计简化为若干局部问题。未观测变量会增加学习的难度，因为必须考虑它们的各种可能取值。期望最大化算法交替进行隐变量推断与参数更新。(cs.cmu.edu)

结构学习还需要估计图本身。相关方法可以利用统计评分比较候选结构，也可以考察条件独立关系。这使得学习除了参数估计外，还涉及组合搜索问题。因此，学习与推断相互交织：评估候选模型或更新其参数，本身就可能需要进行概率推断。(cs.cmu.edu)

模型类别与应用

隐马尔可夫模型通过隐藏状态及其对应的观测来表示序列。其他图模型则描述图像区域、生物变量，或经由有噪声通信信道传输的符号之间的依赖关系。应用领域包括语音处理、计算机视觉、生物信息学、机器人技术和纠错码。图结构与局部分布的选择反映了问题的结构，也决定了哪些推断和学习方法在实际中可行。(research.tue.nl)

参考来源

Graphical models, exponential families, and variational inferencestat.berkeley.edu
Lecture 1: Introduction to Graphical Modelscs.cmu.edu
Bayesian Networksftp.cs.ucla.edu
Graphical Models and Inference Algorithmscs.cmu.edu
Extending Factor Graphs so as to Unify Directed and Undirected Graphical Modelsarxiv.org
Graphical Models, Exponential Families, and Variational Inferencecs.columbia.edu
An Introduction to Variational Methods for Graphical Modelspeople.eecs.berkeley.edu
Lecture 14: Inference and Learningcs.cmu.edu
Introduction to probabilistic graphical modelsresearch.tue.nl