平稳分布 · aiwiki.page

平稳分布是在马尔可夫链或更一般的马尔可夫过程演化过程中保持不变的概率分布。如果初始状态服从这一分布，那么此后任意时刻的状态都服从相同的分布，尽管单条轨迹仍可能在不同状态之间移动。平稳分布也称不变分布，描述的是概率意义上的平衡，而不是运动停止的状态。平稳性与收敛是不同的概念：即使从其他初始条件出发的分布并不趋近于某个平稳分布，这个平稳分布仍然可能存在。(ocw.mit.edu)

数学定义

考虑有限或可数状态空间 $S$ 上的时间齐次离散时间马尔可夫链 $(X_n)_{n\geq0}$ 。其转移矩阵 $P$ 的元素为

P_{ij}=\Pr(X_{n+1}=j\mid X_n=i),

这些元素非负，且每一行的元素之和为一。将分布写成行向量，则平稳分布 $\pi$ 满足

\pi P=\pi,\qquad \pi_i\geq0,\qquad \sum_{i\in S}\pi_i=1.

等价地，对每个状态 $j$ ，都有 $\pi_j=\sum_i\pi_iP_{ij}$ 。这些全局平衡方程表明，各状态上的概率在演化中保持不变。(ocw.mit.edu)

在线性代数中， $\pi$ 是 $P$ 对应于特征值 $1$ 的、经归一化的非负左特征向量。它也是分布更新映射 $\mu\mapsto\mu P$ 的不动点。对于有限状态链，可以联立线性方程组与归一化约束，求出平稳分布的各个分量。仅仅是特征向量还不够，它还必须能表示一个概率分布。(people.csail.mit.edu)

存在性与唯一性

每个有限状态马尔可夫链都至少有一个平稳分布。如果链是不可约的，即从任意状态出发，都能在某个步数后以正概率到达任意其他状态，那么它的平稳分布唯一，且各分量均严格为正。不可约性是唯一性的充分条件，但不是必要条件。(lancaster.ac.uk)

对于有限状态的可约链，每个闭合互通类都有自己的平稳分布；将其扩展到整个状态空间时，该类之外的概率取零。整条链的所有平稳分布都是这些类的平稳分布的凸组合。因此，平稳分布唯一当且仅当只有一个闭合互通类；暂态状态的平稳概率为零。(en.wikipedia.org)

在可数无限状态空间上，仅有不可约性并不能保证平稳分布存在。不可约链存在平稳概率分布，当且仅当它是正常返的，即返回某个状态所需时间的期望值有限。在这种情况下，

\pi_i=\frac{1}{\mathbb E_i[T_i^+]}, \qquad T_i^+=\inf\{n\geq1:X_n=i\},

其中， $\mathbb E_i$ 表示从状态 $i$ 出发时的期望。总质量为无穷大的不变测度无法归一化为平稳概率分布。(statslab.cam.ac.uk)

平稳性与长期行为

对于不可约、正常返且非周期的链，

\lim_{n\to\infty}(P^n)_{ij}=\pi_j.

非周期性排除了可能返回时刻所受到的周期性限制。它是这一收敛定理所需的条件，而不是平稳分布存在或唯一所需的条件。(statslab.cam.ac.uk)

例如，

P=\begin{pmatrix}0&1\\1&0\end{pmatrix}

具有唯一的平稳分布 $(1/2,1/2)$ 。然而，从任一确定状态出发，链都会确定性地在两个状态之间交替，因此其分布并不收敛。如果从平稳分布出发，则在每个时刻，两个状态的概率始终相等。(people.csail.mit.edu)

时间平均的表现则不同。对于不可约的正常返链，处于状态 $i$ 的步数占总步数的比例几乎必然收敛于 $\pi_i$ ，即使该链具有周期性也是如此。这是一条遍历定理，与大数定律有关。此外，以 $\pi$ 为初始分布的时间齐次链构成严格平稳过程：将所有观测时刻平移相同的时间，其有限维分布保持不变。(statslab.cam.ac.uk)

细致平衡与示例

平稳性的一个实用充分条件是细致平衡：

\pi_iP_{ij}=\pi_jP_{ji} \quad\text{对所有 }i,j.

对 $i$ 求和即可得到全局平衡。细致平衡要求每对状态之间两个方向的概率流相等，并刻画了平衡状态下的可逆性。它比平稳性更强：平稳链可以维持有方向的循环概率流，而不满足细致平衡。(lancaster.ac.uk)

对于两状态链

P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}, \qquad 0<a,b<1,

平衡条件给出 $\pi_1a=\pi_2b$ ，因而

\pi=\left(\frac{b}{a+b},\frac{a}{a+b}\right).

这个例子说明，状态占据概率取决于两个方向的转移概率。另一个例子是在有限环上的随机游走：各状态的顺时针移动概率相同，逆时针移动概率也相同，原地停留概率同样相同。其平稳分布是均匀分布；即使顺时针与逆时针移动的概率不同、细致平衡不成立，也仍然如此。(lancaster.ac.uk)

连续时间与应用

对于生成元矩阵为 $Q$ 的有限状态连续时间马尔可夫链，平稳方程变为

\pi Q=0,\qquad \pi_i\geq0,\qquad \sum_i\pi_i=1.

等价地，对任意经过的时间 $t$ ，都有 $\pi P(t)=\pi$ 。有限状态的不可约连续时间链具有唯一的平稳分布，其转移概率会收敛到该分布，无须另加非周期性条件。(ocw.mit.edu)

在马尔可夫链蒙特卡洛中，转移机制被设计为保持选定的目标分布不变。在适当的常返性与收敛条件下，模拟轨迹可提供与该目标分布对应的样本和时间平均。细致平衡提供了一种构造方法，但非可逆动力学也可以保持不变分布。(people.csail.mit.edu)