转移矩阵 · aiwiki.page

转移矩阵是一种表示状态间转移或坐标表示之间转换的矩阵。在概率论中，它记录马尔可夫链中的转移概率。在线性代数中，这一术语也可指换基矩阵，用于将向量空间中一组基下的坐标转换为另一组基下的坐标。这两种含义所需的条件不同：概率转移矩阵的元素必须非负，且各行或各列的元素之和为一；换基矩阵则必须可逆。(stat110.hsites.harvard.edu)

马尔可夫链中的定义

考虑一个离散时间随机过程 $X_0,X_1,\ldots$ ，其有限状态空间为 $S=\{1,\ldots,m\}$ 。它的马尔可夫性质意味着：给定当前状态后，下一状态不依赖于此前的状态。对于时间齐次链，条件概率

p_{ij}=\Pr(X_{t+1}=j\mid X_t=i)

不依赖于 $t$ 。转移矩阵为 $P=(p_{ij})$ 。第 $i$ 行对应当前状态，第 $j$ 列对应下一状态。因此，

p_{ij}\geq0,\qquad \sum_{j=1}^{m}p_{ij}=1.

满足这些条件的矩阵称为行随机矩阵。每一行都是关于所有可能到达状态的概率分布，其中也包括停留在原状态的可能性。(stat110.hsites.harvard.edu)

有些作者采用列随机矩阵，即每一列的元素之和为一。两种约定可通过矩阵转置相互转换。必须明确采用哪种约定，因为它决定了概率向量应从矩阵的哪一侧相乘。转移矩阵描述的是给定当前状态时的转移，而不是初始分布；要确定链的概率演化，两者缺一不可。(stat.cmu.edu)

演化与多步转移

采用行随机矩阵的约定时，令 $\mu_t$ 为元素是 $\Pr(X_t=i)$ 的行向量。由全概率公式可得

\mu_{t+1}=\mu_tP,\qquad \mu_t=\mu_0P^t.

元素 $(P^n)_{ij}$ 表示从状态 $i$ 出发，经过 $n$ 步后到达状态 $j$ 的概率。矩阵乘法将经过各中间状态的路径概率相加，由此得到查普曼—柯尔莫哥洛夫方程：

P^{r+s}=P^rP^s.

这里， $P^0=I$ ，其中 $I$ 是单位矩阵，表示尚未经过任何一步。(stat.cmu.edu)

例如，考虑如下示例矩阵：

P=\begin{pmatrix}0.8&0.2\\0.3&0.7\end{pmatrix}.

从状态 1 出发时， $\mu_0=(1,0)$ ，因此 $\mu_1=(0.8,0.2)$ 。直接相乘可得

P^2=\begin{pmatrix}0.70&0.30\\0.45&0.55\end{pmatrix}.

因此，从状态 1 经过两步转移到状态 2 的概率为 $0.30$ ，计算方式为 $0.8(0.2)+0.2(0.7)$ 。这些是针对假设的马尔可夫链所做的计算，并非实测结果。

如果转移概率随时间变化，就需要为各时刻分别使用矩阵 $P_t$ 。此时，演化过程由按时间顺序排列的矩阵乘积给出，即 $\mu_n=\mu_0P_0P_1\cdots P_{n-1}$ ，而不是某个固定矩阵的幂。(stat.cmu.edu)

结构与长期行为

转移矩阵可表示为一个加权有向图：状态对应顶点，当 $p_{ij}>0$ 时，存在一条边 $i\to j$ 。如果每个状态都能在某个步数后以正概率到达任何其他状态，则称该链为不可约链。如果 $p_{ii}=1$ ，则状态 $i$ 是吸收态，一旦进入便无法离开。(stat110.hsites.harvard.edu)

平稳分布是满足下列条件的概率行向量 $\pi$ ：

\pi P=\pi,\qquad \sum_i\pi_i=1.

因此，它是对应于特征值 $1$ 的左特征向量。对于有限不可约链，平稳分布是唯一的。如果该链还具有非周期性，那么无论初始分布为何，其状态分布都会收敛于这一平稳分布，且 $P^n$ 的每一行都会收敛于 $\pi$ 。(probabilitycourse.com)

存在平稳分布本身并不意味着收敛。矩阵

\begin{pmatrix}0&1\\1&0\end{pmatrix}

具有平稳分布 $(1/2,1/2)$ ，但从某一个状态出发的链会一直在两个状态之间交替。这说明不变分布与极限分布并不是同一个概念。(cs.ox.ac.uk)

根据观测进行估计

对于观测到的状态序列，令 $N_{ij}$ 表示从 $i$ 转移到 $j$ 的次数。在时间齐次马尔可夫模型下，以初始状态为条件，最大似然估计给出

\widehat p_{ij}=\frac{N_{ij}}{\sum_kN_{ik}},

前提是分母为正。转移次数是这一条件似然的充分统计量。如果未观测到任何从某个状态出发的转移，就无法用此公式唯一估计该状态对应的转移矩阵行。(stat.cmu.edu)

在隐马尔可夫模型中，状态是隐含的，不能直接观测。因此，估计时使用的是推断得出的、按概率加权的转移次数，通常结合各状态生成观测的模型，在期望最大化算法中进行估计。(stat.cmu.edu)

连续时间转移矩阵

对于有限、时间齐次的连续时间马尔可夫链，经过时间 $t$ 后的转移由下式描述：

P(t)_{ij}=\Pr(X(t)=j\mid X(0)=i).

这些矩阵满足 $P(0)=I$ 和 $P(s+t)=P(s)P(t)$ 。其无穷小生成矩阵 $Q$ 的非对角元素均非负，且每一行的元素之和为零。有限时间内的转移概率通过矩阵指数求得：

P(t)=e^{tQ}.

生成矩阵包含的是转移速率，而不是概率；其对角元素非正。因此，必须将它与 $P(t)$ 区分开来。(columbia.edu)

换基意义下的转移矩阵

设 $B=(b_1,\ldots,b_m)$ 和 $C$ 是同一有限维向量空间的两组有序基。从 $B$ 下的坐标转换到 $C$ 下的坐标所用的转移矩阵，其各列如下：

T_{C\leftarrow B}=\bigl([b_1]_C\ \cdots\ [b_m]_C\bigr).

对于任意向量 $v$ ，

[v]_C=T_{C\leftarrow B}[v]_B.

它的逆矩阵用于执行反向转换。与概率转移矩阵不同，换基矩阵不要求元素非负，也不要求各行的元素之和为一。向量本身保持不变，改变的只是其坐标表示。(math.hmc.edu)