{
  "id": "continuous-time-markov-chain",
  "title": "连续时间马尔可夫链",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "在有限或可数状态空间上随连续时间演化，并满足马尔可夫性质的随机过程。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "连续时间马氏链",
    "CTMC"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/continuous-time-markov-chain/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/continuous-time-markov-chain/",
      "json": "https://aiwiki.page/en/continuous-time-markov-chain.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "连续时间马尔可夫链（CTMC）是一种随机过程，其时间参数在 \\(t\\geq 0\\) 上连续取值，状态空间为有限集或可数集，且未来的演化仅通过当前状态依赖于过去。它是马尔可夫链的连续时间形式，与离散时间马尔可夫链相对应。在标准的时间齐次表述中，过程在某个状态停留一段服从指数分布的时间，然后跳转到另一个状态。“连续时间”描述的是时间参数，而非样本路径的连续性：这些路径通常是分段常数函数，在跳跃时刻发生不连续变化。(columbia.edu)"
    },
    {
      "heading": "定义与转移概率",
      "text": "设 \\(X=(X_t)_{t\\geq0}\\) 的取值属于有限集或可数集 \\(S\\)。其马尔可夫性质可表示为\n\n\\[\\Pr(X_{s+t}=j\\mid\\mathcal F_s) = \\Pr(X_{s+t}=j\\mid X_s),\\]\n\n其中，\\(\\mathcal F_s\\) 是表示截至时刻 \\(s\\) 所观测历史的滤过（概率论）。因此，一旦已知 \\(X_s\\)，更早的状态就不再提供额外的预测信息。对于时间齐次链，右侧的条件概率依赖于经过的时间 \\(t\\)，而不依赖于起始时刻 \\(s\\)。定义\n\n\\[p_{ij}(t)=\\Pr(X_t=j\\mid X_0=i).\\]\n\n转移矩阵 \\(P(t)=(p_{ij}(t))\\) 满足查普曼—柯尔莫哥洛夫方程\n\n\\[P(s+t)=P(s)P(t),\\qquad P(0)=I.\\]\n\n这些矩阵与初始概率分布一起，确定了该过程的所有有限维分布。时间齐次并不意味着 \\(X_t\\) 的分布不随时间变化；要满足后者这一更强的性质，需要初始分布为平稳分布。(columbia.edu)"
    },
    {
      "heading": "转移速率与生成元",
      "text": "时间齐次 CTMC 通常由其无穷小生成元，也称速率矩阵 \\(Q=(q_{ij})\\) 来指定。对于不同的状态，\n\n\\[q_{ij}=\\lim_{h\\downarrow0}\\frac{p_{ij}(h)}{h},\\]\n\n并且\n\n\\[q_{ii}=-q_i,\\qquad q_i=\\sum_{j\\neq i}q_{ij}.\\]\n\n在标准的保守形式中，当 \\(i\\neq j\\) 时有 \\(q_{ij}\\geq0\\)，每个 \\(q_i\\) 都是有限的，且每行元素之和为零。对于很小的时间间隔 \\(h\\)，\n\n\\[p_{ij}(h)=q_{ij}h+o(h)\\quad(i\\neq j), \\qquad p_{ii}(h)=1-q_i h+o(h).\\]\n\n速率的量纲是时间的倒数；它们不是概率，数值可以大于一。(statslab.cam.ac.uk)\n\n对于有限状态空间，每个这样的矩阵都生成唯一的链，并且\n\n\\[P(t)=e^{tQ} =\\sum_{n=0}^{\\infty}\\frac{t^nQ^n}{n!}.\\]\n\n该矩阵指数是柯尔莫哥洛夫后向方程和前向方程的解：\n\n\\[\\frac{dP(t)}{dt}=QP(t), \\qquad \\frac{dP(t)}{dt}=P(t)Q.\\]\n\n若用行向量表示分布，则\n\n\\[\\mu(t)=\\mu(0)P(t),\\qquad \\mu'(t)=\\mu(t)Q.\\]\n\n对于无限状态空间，无界速率会带来额外的收敛性和定义域问题；不能不加条件地直接套用有限矩阵的指数公式。(continuous-time-mcs.quantecon.org)"
    },
    {
      "heading": "停留时间与嵌入跳链",
      "text": "当过程进入满足 \\(q_i>0\\) 的状态 \\(i\\) 时，其停留时间 \\(H\\) 服从指数分布\n\n\\[\\Pr(H>t)=e^{-q_it}, \\qquad \\mathbb E[H]=\\frac1{q_i}.\\]\n\n下一个状态为 \\(j\\neq i\\) 的概率为\n\n\\[r_{ij}=\\frac{q_{ij}}{q_i}.\\]\n\n给定当前状态后，停留时间与跳转目的状态相互独立。实际跳跃时依次访问的状态组成嵌入跳链，其转移矩阵为 \\(R=(r_{ij})\\)。满足 \\(q_i=0\\) 的状态是吸收态。按照这些规则，可以逐步构造 CTMC，至少可以构造到可能发生的爆炸时刻。(columbia.edu)\n\n指数分布的停留时间具有无记忆性：\n\n\\[\\Pr(H>s+t\\mid H>s)=\\Pr(H>t).\\]\n\n因此，已经在某个状态停留的时间不会改变剩余停留时间的分布。这一性质解释了为什么采用任意非指数分布停留时间的时间齐次跳跃模型，在原有状态空间上通常不具有马尔可夫性。(ocw.mit.edu)"
    },
    {
      "heading": "爆炸与存在性",
      "text": "如果一条链有正概率在有限时间内发生无穷多次跳跃，就称其具有爆炸性。将连续的停留时间记为 \\(H_0,H_1,\\ldots\\)，爆炸时刻为\n\n\\[\\zeta=\\sum_{n=0}^{\\infty}H_n.\\]\n\n非爆炸意味着 \\(\\zeta=\\infty\\) 几乎必然成立。速率有限的有限状态链是非爆炸的。更一般地，一致有界条件 \\(\\sup_i q_i<\\infty\\) 足以保证非爆炸，但它并非必要条件。因此，各个状态的离开速率分别有限，本身并不能排除爆炸。(statslab.cam.ac.uk)\n\n对于可能发生爆炸的生成元，最小过程在爆炸时终止，通常通过将过程送入一个额外的墓地状态来实现。此时，它在原状态空间上的转移概率矩阵可能有行和小于一。若要在爆炸后以其他方式继续过程，则需要进一步指定规则：在这种情况下，仅凭生成元无法确定爆炸后的行为。(statslab.cam.ac.uk)"
    },
    {
      "heading": "平稳分布与可逆性",
      "text": "平稳分布是满足下式的概率向量 \\(\\pi\\)：\n\n\\[\\pi P(t)=\\pi\\qquad(t\\geq0).\\]\n\n对于有限状态链，以及满足适当正则条件的可数状态链，可以通过以下方程求得平稳分布：\n\n\\[\\pi Q=0,\\qquad \\sum_i\\pi_i=1.\\]\n\n这些方程称为全局平衡方程：在平稳状态下，流入每个状态的概率流等于流出的概率流。不可约的有限状态 CTMC 有唯一的平稳分布，且 \\(p_{ij}(t)\\to\\pi_j\\)。对于不可约、非爆炸的可数状态链，平稳概率分布存在，当且仅当该链正常返。因此，无限状态链可能不存在平稳概率分布。(arxiv.org)\n\n更强的细致平衡方程为\n\n\\[\\pi_iq_{ij}=\\pi_jq_{ji}.\\]\n\n对于有限状态链，这些方程意味着平稳性和可逆性：平稳过程的轨迹在时间反演后具有相同的概率律。平稳性本身并不要求细致平衡。(columbia.edu)\n\n嵌入跳链的平稳概率通常与原 CTMC 不同。如果所有 \\(q_i>0\\)，且归一化所需的和有限，则由嵌入跳链的平稳向量 \\(\\alpha\\) 可得到 CTMC 的平稳向量：\n\n\\[\\pi_i= \\frac{\\alpha_i/q_i}{\\sum_k\\alpha_k/q_k}.\\]\n\n这相当于用平均停留时间对访问频率加权：离开速率较低的状态，每次访问占用的实际时间更长。(columbia.edu)"
    },
    {
      "heading": "示例与应用",
      "text": "一条两状态链从 \\(0\\) 到 \\(1\\) 的转移速率为 \\(a>0\\)，从 \\(1\\) 到 \\(0\\) 的转移速率为 \\(b>0\\)，其速率矩阵为\n\n\\[Q= \\begin{pmatrix} -a&a\\\\ b&-b \\end{pmatrix}.\\]\n\n解平衡方程可得\n\n\\[\\pi_0=\\frac{b}{a+b},\\qquad \\pi_1=\\frac{a}{a+b},\\]\n\n而从 \\(0\\) 到 \\(1\\) 的转移概率为\n\n\\[p_{01}(t)=\\frac{a}{a+b}\\left(1-e^{-(a+b)t}\\right).\\]\n\n这些公式分别展示了长期占用比例和趋于平衡的过程。(continuous-time-mcs.quantecon.org)\n\n泊松过程是定义在非负整数上的 CTMC，其 \\(q_{n,n+1}=\\lambda\\)，且没有其他非对角转移。从零开始时，它在时刻 \\(t\\) 的计数服从均值为 \\(\\lambda t\\) 的泊松分布。生灭过程推广了这一结构，允许以速率 \\(\\lambda_n\\) 从 \\(n\\) 转移到 \\(n+1\\)，并以速率 \\(\\mu_n\\) 从 \\(n\\) 转移到 \\(n-1\\)。这类过程用于建立种群数量和排队系统的模型。(statslab.cam.ac.uk)\n\n在化学动力学中，状态可以记录分子数，化学反应则引起分子计数向量之间的跳跃。CTMC 也用于可靠性、维护、电信及计算机系统性能的建模。它是否适用，取决于所选状态是否包含了确定未来转移速率所需的信息。(arxiv.org)"
    },
    {
      "heading": "仿真、计算与局限性",
      "text": "精确的路径仿真遵循停留时间的构造方式：抽取一个服从指数分布的等待时间，按 \\(q_{ij}/q_i\\) 选择跳转目的状态，然后重复这一过程。这种方法无需引入人为的固定时间步长。(columbia.edu)\n\n对于有界的离开速率，均匀化提供了另一种构造方法。选择满足 \\(\\nu\\geq\\sup_iq_i\\) 的 \\(\\nu>0\\)，并令\n\n\\[B=I+\\frac{Q}{\\nu}.\\]\n\n则\n\n\\[P(t)=e^{-\\nu t} \\sum_{n=0}^{\\infty}\\frac{(\\nu t)^n}{n!}B^n.\\]\n\n该过程可表示为转移矩阵为 \\(B\\) 的离散时间链，在速率为 \\(\\nu\\) 的泊松事件时刻更新。有些更新会使状态保持不变。因此，均匀化既不是实际跳跃对应的嵌入链，也不是在等间隔时刻进行采样。它还提供了一种数值方法，其级数截断误差可由被舍去的泊松分布尾概率控制。(sciencedirect.com)\n\n大型或无限状态空间会使直接计算概率的成本很高。有限状态截断可以提供帮助，但必须检查其边界处理方式和近似误差，不能直接假定这些误差可以忽略。(arxiv.org)\n\n随时间变化的环境需要采用速率为 \\(Q(t)\\) 的非齐次模型；此时，单个常生成元的矩阵指数通常不能描述其演化。同样，非指数分布的停留时间或被遗漏的历史信息，也要求使用不同的模型，或扩充状态描述。这些是特定 CTMC 表示方式的局限，并不说明所有随机系统都具有无记忆性。(sciencedirect.com)"
    }
  ],
  "links": [
    "stochastic-process",
    "markov-chain",
    "countable-set",
    "markov-property",
    "filtration-probability",
    "conditional-probability",
    "transition-matrix",
    "chapman-kolmogorov-equations",
    "probability-distribution",
    "matrix",
    "exponential-distribution",
    "stationary-distribution",
    "detailed-balance",
    "poisson-process",
    "poisson-distribution",
    "birth-death-process",
    "chemical-kinetics"
  ],
  "sources": [
    {
      "title": "Continuous-Time Markov Chains — Karl Sigman",
      "url": "https://www.columbia.edu/~ks20/stochastic-I/stochastic-I-CTMC.pdf"
    },
    {
      "title": "Continuous-Time Markov Chains",
      "url": "https://www.columbia.edu/~ww2040/4106S11/CTMCchapter121906.pdf"
    },
    {
      "title": "Introduction to Probability, Selected Textbook Summary Material",
      "url": "https://ocw.mit.edu/courses/res-6-012-introduction-to-probability-spring-2018/d973b10c2587781f86ca4f2aff49098f_MITRES_6_012S18_Textbook.pdf"
    },
    {
      "title": "Semigroups and Generators — Continuous Time Markov Chains",
      "url": "https://continuous-time-mcs.quantecon.org/generators.html"
    },
    {
      "title": "Stationary distributions of continuous-time Markov chains: a review of theory and truncation-based approximations",
      "url": "https://arxiv.org/abs/1909.05794"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}