马尔可夫模型是对动态系统的一种数学表述,其中当前状态包含了以概率方式描述系统未来所需的历史信息。其核心假设是马尔可夫性质:在给定当前状态的条件下,更早的状态不会为后续演化提供额外信息。这并不意味着相继的观测彼此独立,也不意味着过去没有影响,而是说,与预测有关的历史影响已通过当前状态体现出来。
马尔可夫模型在概率、统计学和随机过程研究中具有基础性地位。它们可用于描述多种多样的系统,例如粒子在空间中的运动、顾客排队、生物符号序列、设备状况的变化,以及不确定条件下的决策。“马尔可夫模型”这一术语涵盖若干相互关联的模型形式,包括状态可观测的马尔可夫链、连续时间过程、隐状态模型和受控模型。这些模型是否有用,既取决于其状态转移的数学结构,也取决于所选状态是否涵盖了预期应用所需的信息。
状态、记忆与数学定义
马尔可夫模型的基本要素包括状态空间 、初始概率分布以及状态之间的转移规则。状态可以是某个类别,例如运行模式;也可以是由实数构成的向量,例如位置和速度;还可以是更复杂的对象,例如相互作用粒子的构型。时间可以是以整数为索引的离散时间,也可以是连续时间。因此,如何定义状态是一种建模选择,状态未必是直接测量得到的量,也未必是完整的物理描述。
对于离散时间过程 ,马尔可夫性质可写为
其中,等式对每个适当的集合 都几乎处处成立。这表达的是条件独立。它不同于通常的统计独立性,因为 可能强烈依赖于 。例如,与当前运转正常的机器相比,当前已有损伤的机器在下一个时间段内发生故障的可能性可能要大得多。
对于一般的可测状态空间,转移由概率核描述:
对于每个状态 ,它是定义在所有可能转移到的状态上的概率测度;对于每个可测集 ,它又是 的可测函数。初始分布与这些概率核共同确定模型的有限维分布。如果所有时刻都采用同一个概率核,模型就称为时间齐次模型。齐次性是一项额外假设,并非马尔可夫性质本身的一部分。即使模型的转移随季节或日历时间变化,它仍然可以具有马尔可夫性质。
常见的一阶条件可以推广为对最近 个状态的依赖。这类高阶模型可以通过扩充状态,表示为一阶模型:
如果观测符号表中有 种可能的观测值,这样构造的模型最多有 个状态。这说明,一个模型是否具有马尔可夫性质,取决于状态的定义方式,同时也揭示了记录更多历史信息所付出的代价。足够丰富的状态可以简化时间上的依赖关系,却也可能使估计和计算困难得多。
力学中也存在同样的区别。仅凭位置可能无法确定粒子未来的分布,而将位置与速度结合起来,或许就能构成充分的状态描述。反过来,将若干物理状态合并为一个观测类别,也可能破坏马尔可夫性质。因此,最恰当的理解是:马尔可夫模型所作的断言,针对的是系统在特定时间分辨率下的某种特定表示。
离散时间链与转移计算
有限或可数状态空间上的离散时间马尔可夫链由转移概率确定。在时间齐次的情况下,这些概率构成一个转移矩阵 ,其元素为
每个元素都非负,且每行之和为一。采用行向量记法时,初始分布 按下式演化:
采用行向量只是一种约定;若采用列向量表示,则使用转置矩阵。
以一个具有“正常运行”和“不可用”两种状态的系统为例:
正常运行的系统在下一个时间间隔内仍保持正常运行的概率为 ,而不可用的系统恢复运行的概率为 。如果系统起初正常运行,那么两个时间间隔后仍处于正常运行状态的概率为
第二项对应的是系统中途进入不可用状态、随后恢复运行的情况。这说明,多步转移概率必须涵盖所有可能的中间路径,而不能只考虑始终停留在初始状态的情况。
一般的合成规则由查普曼—柯尔莫哥洛夫方程给出:
对于非齐次链,相应计算使用的是各步转移矩阵依次相乘的结果,而不是同一个矩阵的幂。齐次链中一条完整路径的概率可分解为
这种分解是似然计算、模拟以及许多时序推断算法的基础。
转移矩阵也可以看作一个加权有向图:只要 ,就存在一条从 指向 的边。图的结构可以揭示哪些状态彼此互通、哪些区域不可达,以及哪些状态是吸收态。若状态 满足 ,则它是吸收态:一旦进入,就无法离开。在有限吸收链中,将暂态排在前面,可得到如下分块形式:
当最终被吸收的概率为一时,基本矩阵
记录了吸收前对各暂态的期望访问次数。 的各行之和给出期望吸收时间,而 给出吸收概率。这些量无需枚举所有可能路径,就能描述完成、失效或到达指定边界等结果。
连续时间与无穷小动力学
连续时间马尔可夫链允许在任意非负时刻发生状态转移,同时保持状态空间离散。它通常用生成矩阵 来描述,而不是为固定时间间隔指定一个单步转移矩阵。对于 ,
这些非对角元表示转移速率,量纲为时间的倒数。对角元满足
因此,生成矩阵各行元素之和为零,这与转移矩阵不同。
对于离开速率 有限的齐次跳跃过程,在状态 的停留时间服从速率参数为 的指数分布。当 时,下一个转移目标为 的概率是 。停留时间服从指数分布这一假设源于无记忆性:在过程仍处于该状态的条件下,剩余等待时间的分布与它已经在该状态停留了多久无关。这往往是连续时间模型中影响最为深远的实质性假设。
对于有限状态的齐次链,时长 对应的转移矩阵为
其中,矩阵指数满足前向方程和后向方程:
若概率分布用行向量表示,则前向方程为
泊松过程是一个基本例子:其状态是截至当前已发生的事件数,每次转移都使计数增加一,且转移速率恒定。
连续状态空间则引出其他类型的马尔可夫过程。维纳过程具有连续的样本路径和独立的高斯增量。更一般的扩散过程可以用随机微分方程来定义:
在标准的存在性与唯一性条件下,这种构造得到的是马尔可夫过程。其无穷小生成元作用于适当的光滑函数时,形式为
生成元将随机轨迹与描述期望和概率密度的确定性微分方程联系起来。
无限状态空间会带来有限状态链中不存在的技术问题。尤其是,某些跳跃速率可能使过程在有限时间内发生无穷多次跳跃,这种现象称为爆炸。此时,存在性、唯一性、边界行为以及总概率守恒都必须加以证明,而不能视为理所当然。此外,确定性时刻的普通马尔可夫性不同于强马尔可夫性;后者要求在适当的随机停时也满足类似的、关于未来的条件分布规则。
常返性、平衡与长期行为
长期分析关注模型是否会遗忘初始状态、返回特定区域的频率,以及时间平均是否趋于稳定值。离散时间链的平稳分布是满足下式的概率向量 :
对于连续时间链,相应的平衡方程为
若以这一分布作为链的初始分布,则各时刻的边缘分布保持不变。初始分布的平稳性不应与转移机制的时间齐次性混淆:齐次链的初始状态分布也可能远离平衡。
如果从任意状态出发,都能经过若干步到达其他任意状态,则称该链不可约。每条有限不可约链都有唯一的平稳分布。在离散时间情形下,要使链从任意初始分布出发都收敛到这一平稳分布,还要求链具有非周期性。一条在两个状态之间确定性交替的链具有平稳分布 ,但从某个固定状态出发时,其分布会永远振荡。不过,它的时间平均仍然可以收敛,这说明分布的收敛与经验占用频率的收敛是不同的性质。
在无限状态空间上,仅有不可约性并不能保证存在平稳概率分布。如果返回某个状态的概率为一,则该状态是常返态;如果存在正概率使得该状态此后永远不再被访问,则它是暂态。若常返态的期望返回时间有限,则称其为正常返态,否则称为零常返态。整数上的对称最近邻随机游走是零常返的:它几乎必然返回起点,却没有平稳概率分布。这些区别对于排队系统至关重要,因为一个看似描述稳态的公式,只有在到达与服务的动态机制确实能够保证正常返性时才有意义。
对于许多遍历链,沿一条长轨迹计算的平均值满足马尔可夫链版本的大数定律:
对于有限不可约链,这一结论对每个实值状态函数都成立,即使链具有周期性也不例外。在附加条件下,中心极限定理描述了围绕极限均值的波动。序列相关性会影响这些波动的方差:一条包含 次观测的轨迹,通常比从同一平稳分布中独立抽取的 个样本包含更少的信息。
平稳性的一个特别有用的充分条件是细致平衡,
它蕴含可逆性:平稳轨迹在时间顺序反转后仍具有相同的分布。可逆性并非平稳性的必要条件,因为处于平衡的系统仍可维持循环的概率流。收敛速率通常通过特征值与特征向量、耦合论证或概率距离界来研究。对于有限可逆链,接近一的特征值表明存在衰减缓慢的模态;因此,近乎孤立的状态群可能导致极长的弛豫时间。
隐状态与观测模型
在隐马尔可夫模型中,满足马尔可夫性质的过程无法被直接观测。隐状态 按照某种转移规则演化,而观测值 则由与该状态对应的分布生成。标准模型假设,在给定隐状态序列的条件下,各次观测相互条件独立,且每个 仅依赖于 。其联合分布可分解为
这些观测分布通常称为发射分布。
这种构造将系统动力学与测量不确定性区分开来。即使底层状态保持稳定,传感器读数也可能含有噪声;反过来,状态可能已经切换,但仍持续出现相似的观测值。观测序列 本身通常并不是一阶马尔可夫链。较早的观测仍可能提供有用信息,因为它们有助于识别当前的隐状态。因此,隐马尔可夫模型并不意味着仅凭最近一次观测就足以预测下一次观测。
三种推断任务各有不同的含义。滤波利用截至当前可获得的观测,计算当前状态的分布 。预测将该分布向未来推进。平滑则计算 时的 ,利用后续观测修正对较早状态的判断。对于有限状态模型,滤波交替执行预测步骤
以及利用 进行的贝叶斯更新。平滑则通过前向—后向递推完成。
计算概率最大的完整状态序列,与在各个时刻分别选择概率最大的状态,是两种不同的任务。维特比算法通过保留以每个状态结尾的最优部分路径,求解完整序列问题。前向算法则对各条路径求和,以计算观测的概率。对于具有 个隐状态和 次观测的模型,这些算法的稠密实现通常需要 次运算,而不必枚举数量随序列长度呈指数增长的所有状态序列。
连续状态模型同样将隐状态的动态演化与观测过程分开。在如下线性高斯模型中,
若噪声满足适当的独立高斯假设,且初始状态服从高斯分布,卡尔曼滤波器就能精确计算滤波分布的均值和协方差矩阵。非线性或非高斯模型则可能需要采用近似方法。当观测误差容易被误认为状态快速切换时,隐状态表示尤其有用;但如何解释这类表示,取决于能否根据观测数据真正区分不同的隐状态结构。
估计、不确定性与模型比较
对于状态完全可观测的有限状态链,转移概率的估计可直接从路径概率的因子分解得到。设 为观测到的从 到 的转移次数,并令 。在给定初始状态的条件下,似然正比于
在各行满足概率约束的条件下,逐行最大化似然,即得到最大似然估计
前提是 。如果未观测到从某个状态出发的转移,就无法仅凭这些计数估计该状态对应的转移概率行。
数据稀疏时,需要区分不可能发生的转移与仅仅尚未观测到的转移。无约束的最大似然估计会将从已访问状态转移到未观测到的目标状态的概率设为零。正则化或贝叶斯推断可以使估计更稳定,但其假设会影响结果。采用参数为 的狄利克雷先验时,后验均值为
已知的结构性零值应单独表示,而不应自动赋予其正概率。
对于完全可观测的连续时间轨迹,估计需要同时利用跳转次数和各状态的停留时间。如果 是观测期间处于状态 的总时间,则无约束的非对角元素转移率估计为
当只能在相隔一定时间的采样时刻观测状态时,其间发生的跳转是未知的。此时,似然涉及的是 的矩阵元素。并非每个离散转移矩阵都能表示为某个有效转移率矩阵的矩阵指数,而且有些转移矩阵对应不止一个这样的生成矩阵,因此,从采样观测中重建生成矩阵是一个独立的识别问题。
在隐状态模型中,转移次数和各状态对应的观测统计量本身也不可观测。期望最大化算法交替计算这些量的条件期望,并最大化由此得到的完整数据对数似然的期望。对于有限隐马尔可夫模型,这一过程通常称为鲍姆–韦尔奇估计。在通常的精确更新条件下,该过程会提高似然或使其保持不变,但不一定能找到全局最优解。不同的初始化可能得到不同的解,而且置换隐状态的标签并不会改变观测分布。
不确定性评估必须考虑时间依赖性。将轨迹中的观测视为相互独立,可能低估标准误;随机划分训练集与测试集,则可能导致相邻观测之间的信息泄漏。合适的方法包括基于似然的区间估计、后验分布、考虑依赖性的重采样,以及按时间顺序进行的交叉验证。模型比较可以考察预测性能、状态数量、转移约束和观测分布。良好的预测拟合本身并不能确立统计可识别性,估计得到的转移关联也不能确立因果关系。
受控模型与模拟算法
马尔可夫决策过程在状态动态中引入了动作和奖励。在时刻 ,动作 通过 影响下一状态的分布,而奖励函数则记录此次转移的价值或成本。策略规定如何选择动作。受控马尔可夫假设指出,在给定当前状态和动作的条件下,下一状态的分布不再额外依赖此前的历史。这并不要求所有策略都具有无记忆性。
对于奖励有界、折扣因子为 的有限模型,最优价值函数满足贝尔曼最优方程
在这些条件下,存在平稳的确定性最优策略。价值迭代等算法利用这一递归结构求解,而不必评估所有可能的未来动作序列。平均奖励问题和无折扣问题需要不同的假设;折扣有限状态情形下的结论不能直接套用。
当决策者无法观测底层状态时,模型就成为部分可观测马尔可夫决策过程。隐藏状态上的概率分布称为信念状态,可以作为完全可观测控制问题的状态。信念状态根据动作和观测,通过贝叶斯滤波进行更新。即使底层状态空间是有限的,信念空间仍然是连续的,这会显著增加计算难度。状态估计与动作选择相互耦合,因为动作既能影响结果,也能影响未来获得的信息。
马尔可夫模型也是马尔可夫链蒙特卡洛的基础。在这类方法中,构造马尔可夫链的目的是从目标分布中采样,而非如实表示物理系统的动态过程。在 Metropolis–Hastings 算法中,按照 提议从 移动到 ;当下式中的比值有定义时,以如下概率接受这一移动:
这一接受规则可以使链满足相对于目标分布 的细致平衡条件。未知的归一化常数会在比值中约去,因此,即使只知道分布的未归一化形式,也能进行计算。
仅有期望的平稳分布,并不足以保证模拟具有实用价值。链必须能够在实际可接受的时间尺度内到达相关区域,并在这些区域之间移动。很强的自相关、彼此隔离的众数区域,或选择不当的提议分布,都可能使长时间运行得到的样本仅包含很少的有效信息。因此,基于马尔可夫轨迹的一般蒙特卡洛方法估计,需要关注初始化、收敛性和抽样变异。这种计算用途体现了一项重要区别:马尔可夫模型既可以是对经验现象的描述,也可以是决策框架,还可以是人为设计的数值机制。
在科学与技术各领域中的应用
排队系统将建模假设与运行指标直接联系起来。在 排队系统中,顾客到达服从速率为 的泊松过程,服务时间相互独立,服从速率参数为 的指数分布,由一个服务台为顾客提供服务。系统内的顾客数 构成连续时间马尔可夫链,其向上转移速率为 ,只要队列非空,向下转移速率就为 。当 时,其平稳分布和均值为
当 时,这一标准的无限容量模型不存在平稳概率分布。
在人口科学和分子科学中,马尔可夫模型用于描述改变数量或构型的事件。生灭链表示数量每次增加或减少一个单位的种群;化学反应模型则使用由分子数量组成的状态向量,以及各反应特有的跳转速率。基因组学中的序列模型为核苷酸、编码区或其他潜在类别赋予概率。连续时间核苷酸替换模型通过速率矩阵描述沿进化谱系发生的变化,明确允许两个观测端点之间发生多次替换。尽管这类模型与隐状态分段模型都采用马尔可夫数学方法,但两者的状态和假设并不相同。
工程可靠性模型表示正常运行、性能退化、故障和修复等状态。模型输出可以包括可用度、平均故障前时间,以及进入危险构型的概率。采用吸收态的模型表示不可逆的故障,而可修复系统则包含返回转移。在形式验证中,概率模型检测用于评估最终到达错误状态的概率,或在规定时间内到达目标的概率等性质。这些计算基于指定的转移系统;其结果能否作为关于设备或软件的有效判断,取决于该系统对实际对象的刻画是否准确。
语言和信号领域的应用通常用状态来概括近期上下文或未观测到的信号源。 元语言模型使下一个符号的分布取决于之前的 个符号。隐马尔可夫模型通过将潜在声学状态的演变与测得的语音特征区分开来,在语音识别中发挥了重要作用。在目标跟踪中,连续状态滤波模型将运动动力学与含噪观测区分开来。在这些应用中,增加状态细节可以提高表征能力,但也可能增加参数数量和计算负担。
网络是另一个突出的应用实例。PageRank 根据网页链接图上随机游走的平稳分布赋予网页评分,并通过引入随机跳转机制加以修正,使得跳转可以不依赖于当前页面的出站链接。在计量经济学中,状态转换模型使用潜在状态表示不同统计动态之间的切换,而信用转移矩阵则描述评级类别之间的变动。这类模型概括的是特定尺度上的规律;平稳性假设和马尔可夫假设必须与另一种断言区分开来,即经济或制度条件改变后,同样的规律仍将持续。
历史发展
马尔可夫模型的数学研究起源于俄罗斯数学家安德烈·马尔可夫的工作。1906 年,他开始发表关于相依随机变量的研究成果,这些成果后来成为马尔可夫链理论的基础。其中一个核心问题是:在不具备独立性的情况下,类似大数定律的结果是否仍然成立。这一研究动机很重要:马尔可夫链的提出并非为了忽略相依性,而是为了以一种结构化的方式研究它。
在 1913 年的一项分析中,马尔可夫从亚历山大·普希金的诗体小说《叶甫盖尼·奥涅金》中选取了一个由 20,000 个字母组成的序列,将字母分为元音和辅音,并考察它们的接续关系。这个例子用相对简单的状态描述,展示了相邻符号之间可测量的相依性。它预示了后来对符号序列的统计研究,但它并不是现代意义上的隐状态语言模型,也不应被视为对语言结构的完整解释。
20 世纪初,包括莫里斯·弗雷歇和安德雷·柯尔莫哥洛夫在内的数学家拓展了这一理论。柯尔莫哥洛夫于 1931 年发表的关于概率论解析方法的论文,将转移概率与微分方程联系起来,推动了连续时间过程现代框架的建立。他在 1933 年提出的概率论公理体系,则为其提供了通用的测度论基础。此后的发展区分了有限马尔可夫链与一般状态空间上的过程,并厘清了常返性、不变测度、停时以及存在性条件等问题。
20 世纪中叶的若干进展将这一理论与计算和控制联系起来。尼古拉斯·梅特罗波利斯及其同事于 1953 年提出了一种马尔可夫链采样方法;W. K. 黑斯廷斯于 1970 年推广了这一方法。理查德·贝尔曼在 20 世纪 50 年代开展的动态规划研究,为序贯决策问题提供了递归求解方法;罗纳德·霍华德则在 1960 年出版的《动态规划与马尔可夫过程》中,发展了求解马尔可夫决策问题的计算方法。鲁道夫·卡尔曼于 1960 年发表的滤波论文,确立了一种重要的线性估计状态空间方法。
隐马尔可夫建模的发展,既源于对马尔可夫链的概率函数的研究,也得益于伦纳德·鲍姆及其合作者在 20 世纪 60 年代至 70 年代初开展的统计算法研究。此后,语音识别领域的应用使这些方法在工程界受到广泛关注;劳伦斯·拉宾纳于 1989 年发表的教程成为广泛使用的讲解文献。后来在生物序列分析、机器学习和大规模模拟中的应用,都借鉴了这些积累起来的理论。因此,“马尔可夫模型”逐渐成为一大类相关表示方法的统称,而非指在某个历史时刻提出的单一模型。
模型的适切性、粗粒化与局限性
首要的实质性问题是:所选状态是否足以满足预测任务的需要。如果转移概率取决于在某状态中已经停留的时间、未记录的早期事件或持续存在的外部条件,那么一阶齐次模型可能并不适用。例如,即使已知某个部件属于笼统的“正常工作”类别,其失效概率仍可能取决于使用年限。加入使用年限、使用量或退化程度的测量值,可以改进状态表示,但也会改变模型的维度和对数据的要求。
持续时间分布揭示了一种常见的不匹配。在齐次离散时间链中,连续处于某一状态的次数服从几何分布;在齐次连续时间跳跃链中,停留时间服从指数分布。这些限制意味着状态的持续具有无记忆性。半马尔可夫模型将目标状态的选择机制与更一般的停留时间分布分开处理,从而允许转移行为取决于当前状态已经持续了多久。另一种方法是引入多个隐藏子状态,使它们合计的驻留时间比单一指数分布所描述的持续时间更加灵活。
状态聚合会带来另一类问题。即使精细描述下的过程具有马尔可夫性,将其状态合并为较宽泛的类别后,也不一定能保留这一性质。要使聚合后的有限状态链在任意初始分布下都能表现为马尔可夫链,一个标准的充要条件是强可集总性:同一组内的任意两个细分状态,转移到每个目标组的总概率都必须相同。如果不满足这一条件,下一个观测类别就可能取决于当前类别内部未被观测到的状态构成,而这种构成又可能取决于更早的观测。
时间分辨率也很重要。对齐次离散时间链进行等间隔抽样会保留马尔可夫性;每隔 步保留一个状态时,转移矩阵为 。对齐次连续时间链以间隔 进行精确采样,得到的转移矩阵为 。然而,带噪声的观测、状态聚合或区间平均测量,都可能破坏所记录序列的马尔可夫性。因此,一个在某种采样间隔下看似适用的模型,换用另一种间隔后可能就不再适用,尤其是在粗粒度测量掩盖了快速转移的情况下。
可以通过比较条件转移概率、考察驻留时间分布、开展多步预测检验以及分析残差依赖性,来评估模型的适切性。后验预测检验可以将观测到的特征与拟合模型生成的特征进行比较,而按时间分隔的验证则检验模型在后续条件下的预测表现。这些检验无法证明系统中已不存在相关的记忆效应:有限数据集的检验效能有限,对罕见状态和转移尤其如此。在高维系统中,维数灾难进一步限制了能够显式编码的历史信息量。因此,选择状态需要在时间信息的充分性、可解释性、统计证据的支撑程度以及计算可行性之间作出具体权衡。