状态空间模型是动力系统的一种数学表示,其中内部状态随时间演化,并产生可观测的输出。给定未来的输入,以及随机模型中相关的概率规律,状态所包含的信息足以确定系统后续的演化。状态的各个分量既可以表示具有直接物理意义的量,如位置和速度,也可以表示未被观测到的量,如潜在的经济趋势。状态空间模型既能描述确定性动力学,也能描述随机动力学;既适用于连续时间,也适用于离散时间;既能表示线性关系,也能表示非线性关系。
这一框架将微分方程、控制工程、时间序列分析和统计推断联系起来。工程师利用它设计反馈控制器并重建未测量的变量;统计学家则利用它从含噪观测中分离潜在信号,并作出不确定性经过量化的预测。其核心在于区分系统自身的演化过程与对该系统进行测量的过程。借助这一区分,测量误差、不完整观测、外部干预以及随时间变化的动力学,都可以纳入统一的数学结构中加以表示。
状态、转移与观测
确定性连续时间状态空间模型通常具有如下形式:
其中, 为状态, 为外部给定的输入, 为输出。变量上方的点表示对时间求导。在有限维模型中,这些量通常为向量,满足 、 和 。函数 和 分别规定系统的动态规律和观测关系。在满足适当的存在性与唯一性条件时,初始状态 与输入轨迹共同决定系统此后的轨迹。
状态的本质特征在于,它完整描述了系统中与后续演化有关的记忆。对于由二阶方程支配的力学质点,仅凭位置通常无法确定其未来运动,而位置与速度合在一起则可以。将速度引入为一个独立的状态,就能把二阶方程转化为两个一阶方程。更一般地, 阶微分方程往往可以改写为具有 个状态分量的一阶方程组。状态不必与测得的输出相同,其选取方式也不唯一。
离散时间随机模型通常通过转移分布和观测分布来规定:
转移方程体现了马尔可夫性质:在给定当前状态和指定输入的条件下,更早的状态不会提供关于下一状态的额外信息。观测假设体现了条件独立:一旦当前状态已知,观测便不再额外依赖其他状态或观测。这些都是建模假设,并非每一种物理测量过程都天然具备的性质。
省略输入后,所得联合分布可分解为
这里, 表示序列 。这种分解使随机状态空间模型成为一种特定的概率图模型。如果扰动或观测误差在时间上存在依赖关系,有时可以通过在状态中纳入额外变量来恢复这一结构。这种状态增广方法十分有效,但会增加维数,也可能使估计变得更加复杂。
线性动力学与连续到离散的转换
研究最广泛的有限维形式是线性模型
矩阵 分别描述状态转移、输入的作用、观测以及输入到输出的直接传递。扰动 和 分别表示过程噪声和观测噪声。一种常见的设定是:二者均值为零,协方差矩阵分别为 和 ,各时刻的噪声相互独立,两个噪声序列之间也相互独立。扰动也可以存在相关性,但这需要相应地修改推断公式。线性模型只有在初始状态与扰动具有所需的联合高斯分布时,才是高斯模型。
当矩阵为常数且不存在扰动时,反复代入可得
这一表达式将初始条件引起的响应与输入的累积效应区分开来。 的特征值决定了无外部输入系统的渐近行为。当且仅当所有特征值都严格位于复平面的单位圆内时,从任意初始状态出发的状态才都会收敛于零。在连续时间情形下,对于 ,渐近稳定性则要求所有特征值的实部严格小于零。位于稳定区域边界上的特征值需要进一步分析,包括考察相应若尔当块的大小;不能仅凭其绝对值或实部作出判断。
连续时间线性系统
的解为
其中, 是矩阵指数函数。若输入在长度为 的各个采样间隔内保持不变,则精确离散化可得
这些公式避免了将连续时间导数简单地当作有限差分处理。常用的近似式 是一阶数值近似,当采样间隔过大时,可能使离散化后的系统无法保持原系统的稳定性。
噪声也必须以一致的方式离散化。对于线性随机微分方程
其中 为标准向量维纳过程,离散过程噪声的协方差为
因此,采样既改变确定性动力学,也改变不确定性的累积。这一点在跟踪和传感器融合中尤为重要,因为观测可能以不等的时间间隔到达,每个间隔都需要各自的状态转移矩阵和过程噪声协方差。
可观测性、可控性与等价表示
两个结构性问题分别考察系统中哪些信息可以推断、哪些状态可以影响。**可观测性**关注的是:在输入已知的情况下,能否根据一段适当时间区间内理想、无噪声的输出,唯一地还原内部状态。对于具有 个状态的离散时间线性时不变系统,可观测性矩阵为
当且仅当 的秩为 时,矩阵对 可观测。如果秩小于 ,某些不同的初始状态就会产生完全相同的输出序列。对同一个无法提供区分信息的组合增加测量次数,并不能消除这种结构性的歧义。
**可控性**在标准的有限维线性系统意义下,关注的是能否在有限时间区间内,利用允许的输入将状态从任意值驱动到另一个任意值。对于不受约束的线性时不变系统,常用的秩判据采用以下矩阵:
该矩阵满行秩,即可确定系统从零状态出发具有可达性,并且在通常的假设下具有完全状态可控性。输入幅值限制和状态约束会带来额外的问题:仅凭秩条件,无法确定某个控制过程能否在指定时间内完成,也无法确定其在执行器的物理限制下是否可行。
状态坐标并非系统固有的。若 ,其中 可逆,则
描述的输入—输出行为与原系统相同。这种相似变换改变了各个状态分量的含义,却不改变系统本身的动力学。因此,除非模型采用了具有明确解释的坐标系,否则估计得到的状态向量中的各个分量,未必具有唯一的物理含义。
传递函数将状态空间模型与经典频域分析联系起来。对于连续时间系统,在初始状态为零且满足适当变换条件时,
同一个传递函数通常有多种状态空间实现。维数尽可能小的实现称为最小实现;对于通常的有限维线性系统,一个实现是最小实现,当且仅当它既可控又可观测。非最小模型可能包含始终不影响测量输出的内部模态,或无法由指定输入激发的内部模态。
实际估计还取决于问题的条件性,而不仅仅取决于精确的秩。理论上可观测的模态,其在输出中的表现可能非常微弱,以至于测量噪声会使该模态的重构变得不可靠。相关的较弱性质包括可检测性和可稳定性:前者允许存在不可观测模态,前提是这些模态稳定;后者允许存在不可控模态,前提同样是这些模态稳定。即使系统不具备完全可观测性或完全可控性,这些性质对于保证稳定性的估计器和控制器是否存在,仍起着核心作用。
滤波与递归状态估计
滤波利用截至当前时刻可获得的观测来估计当前状态。用概率符号表示,其目标为 。一般的贝叶斯递推先进行预测:
然后进行更新:
第一步通过系统动力学传播不确定性;第二步依据测量似然对预测分布重新加权。这些方程是精确的,但计算其中的积分可能十分困难。
对于线性高斯模型,卡尔曼滤波器仅需利用状态均值和协方差即可完成这一递推。为清晰起见,省略已知输入后,其预测方程为
实际观测值与其预测值之差
称为新息。新息的协方差和卡尔曼增益分别为
更新后的状态均值为
增益用于权衡预测状态的不确定性与测量的不确定性。当状态具有很高的不确定性而测量较为精确时,通常会在传感器所测量的方向上产生较大的修正。反之,不可靠的测量所占的权重较小。在上述高斯假设下,更新后的均值就是精确的条件期望,并使条件均方误差最小。在满足适当的二阶矩假设、但不要求高斯性的情况下,同样的递推会给出最优线性估计量,但它未必是数据的所有非线性函数中的最优估计量。
采用有限精度计算实现时,需要谨慎处理。虽然协方差更新可以简写为 ,但 Joseph 形式
在存在舍入误差时,能更好地保持对称性和半正定性。平方根滤波器则转而传播矩阵因子,通常使用 Cholesky分解或正交变换。
观测缺失时,处理方式很直接:继续预测,同时跳过无法进行的测量更新。如果只有部分测量分量缺失,则使用测量系统中与已观测分量对应的行及其相应的协方差子矩阵进行更新。这样无需人为补造观测,就能处理采样不完整的情况;不过,如果缺失本身携带信息,可能还需要对观测过程本身另行建模。
平滑、预测与不确定性
滤波、平滑和预测的区别在于所依据的信息不同。滤波根据截至时刻 的观测来估计 。**平滑**则利用某个过去时刻之后的观测来估计该时刻的状态,例如 ,其中 。预测关注未来的状态或输出,例如 。这些任务可以使用同一个模型,但回答的是不同的问题。利用后续测量修正后的历史估计是平滑估计,而不是实时滤波估计。
对于线性高斯模型,Rauch–Tung–Striebel 平滑器先执行一遍前向卡尔曼滤波,再进行后向递推。定义
则有
后向修正将未来观测中的信息传递给较早时刻的状态。在参数固定且设定正确的条件下,按半正定序比较,平滑协方差不会大于滤波协方差。这一结论描述的是不确定性,并不意味着每次得到的平滑点估计都一定更接近真实状态。
对于没有未来输入的时不变模型, 步状态预测为
其协方差为
第一项传播当前状态的不确定性,第二项累积未来的过程噪声。对于观测方程 ,预测协方差为 。若省略 ,得到的就是潜在信号的不确定性,而非未来含噪观测的不确定性。
当 稳定时,累积的过程不确定性可以收敛到满足下式的有限极限:
对于随机游走状态,不确定性则随预测期的延长而增大。这一区别解释了为什么即使近期观测的精度很高,具有时变趋势的模型仍可能给出随预测期延长而不断变宽的区间。
标准的滤波和平滑协方差均以模型参数为条件。如果这些参数是根据较短的观测序列估计的,那么直接代入参数估计值得到的区间可能低估总体不确定性。贝叶斯推断通过对后验分布积分来考虑参数不确定性,而基于模拟的频率学派方法则可以通过反复拟合来近似评估其影响。在估计可识别性较弱的趋势方差、具有较强持续性的动态特征,或进行长期预测时,这一区别尤其重要。
参数估计与系统辨识
状态轨迹与模型参数是两类不同的未知量。卡尔曼滤波器在给定矩阵和噪声协方差的条件下估计状态;而估计这些矩阵和协方差则是另一个问题。在工程领域,这项范围更广的任务称为**系统辨识**。参数可以由物理定律推导,也可以根据观测到的输入和输出进行估计,或结合物理约束与统计拟合来确定。即使模型已根据物理原理建立,其中仍可能包含未知的质量、阻尼系数、传感器偏差或扰动强度。
对于高斯模型,可以利用新息高效计算似然函数。若参数向量为 ,则对数似然为
其中, 是时刻 实际观测到的测量分量数, 和 都依赖于 。因此,最大似然估计需要将数值优化器与滤波器的反复运行相结合。协方差参数通常通过三角因子或经过变换的尺度参数来表示,以确保优化过程满足这些参数所需的约束。
期望最大化算法将未观测到的状态视为缺失数据。其期望步通过平滑计算条件矩,例如
其最大化步则利用这些量更新参数。在不加约束的线性高斯模型中,许多更新计算与多元最小二乘计算类似。在各步骤精确执行的情况下,EM 算法能够保证似然值不下降,但可能收敛缓慢,而且对于非凹的似然函数,并不能保证找到全局最大值。
统计识别限制了拟合所能确定的内容。通过相似变换相互关联的状态实现,在观测上是等价的,除非施加约束来选定特定的坐标。对于较短或信息量不足的观测记录,过程噪声与测量噪声也可能难以区分。利用输入辨识系统动态特性时,输入的变化必须足以激励相关模态。在反馈作用下采集的数据可能使输入与扰动之间产生依赖关系,从而导致简单的回归方法失效。
模型评估考察的不只是拟合后的似然值。在高斯模型设定正确的情况下,经过适当标准化的新息应服从假定的分布,且不再存在序列依赖。残差中的规律可能揭示模型遗漏的季节性、不正确的状态转移动态,或对观测过程的不当刻画。可以采用带惩罚项的似然准则和按时间顺序进行的交叉验证,比较不同的状态维数和结构复杂度。普通的随机划分可能将未来信息泄露到训练数据中,或破坏预测任务的时间结构。接近零的方差估计值和近乎冗余的状态尤其需要关注,因为它们可能表明存在边界解或不必要的模型组成部分。
结构时间序列模型与潜在成分
状态空间模型可以直接将观测值表示为若干随时间演化的成分的组合。一个基本的局部水平模型为
其中,相互独立的扰动的方差分别为 和 。潜在水平 服从随机游走,而测量噪声则表示短暂的不规则波动。当 时,水平保持不变;随着 增大,估计的水平对近期观测值的反应会更灵敏。因此,模型通过不同的随机机制,区分随时间变化的信号与含噪测量。
局部线性趋势模型引入了随时间变化的斜率:
这并不要求整个序列都沿着同一条直线变化。相反,斜率可以逐渐演化,其变化幅度由 的扰动方差控制。阻尼趋势变体将 前的单位系数替换为绝对值小于一的参数。这一改动会显著改变长期外推结果,因为近期的增长不再以不变的速率无限延续。
季节成分可以用一组季节效应组成的状态向量表示,并对其施加总和为零的约束;也可以用按季节频率旋转的成对状态来表示。一个确定性的谐波状态对采用如下转移矩阵:
加入过程扰动后,季节性波动的振幅和相位便可随时间演化。多组谐波状态对可以表示复杂的季节模式,使这一构造与傅里叶级数相联系,同时又不要求季节性特征在整个观测期间保持不变。
自回归模型和自回归移动平均模型也可以用状态空间形式表示。例如,
可以采用状态 、一个伴随形式的转移矩阵,以及仅作用于第一个坐标的扰动。这种表示的过程协方差矩阵是奇异的,但这并不影响其有效性。如果记录的序列本身含有噪声,还可以加入额外的测量误差,从而引入基本自回归模型所没有的区分。
动态回归将回归系数视为状态:
这里, 包含观测到的预测变量,而系数向量可以随时间变化。类似地,动态因子模型利用低维潜在过程来解释多个观测序列。在计量经济学中的应用包括趋势—周期分解,以及利用不同时间发布的指标进行预测。模型本身并不赋予潜在成分因果含义:即使一个“趋势”在数学上有明确定义,它仍然取决于所选的转移假设和扰动假设。
非线性、非高斯与切换模型
许多系统需要非线性的状态转移或观测机制。一般形式为
但噪声不一定必须是加性的,也可以直接指定状态转移分布和观测分布。例如,均值为 的泊松分布观测可以描述由随时间变化的潜在对数强度驱动的计数。以状态的逻辑斯蒂变换作为参数的伯努利观测,则可以表示随时间变化的事件发生概率。这些模型保留了状态空间模型的条件独立结构,同时不再要求观测服从高斯分布。
扩展卡尔曼滤波在当前估计值附近对非线性函数进行线性化,其协方差计算使用状态转移函数和观测函数的雅可比矩阵。当不确定性集中在函数近似线性的区域内时,这种方法可以取得良好效果。强烈的曲率、含糊不清的观测或不佳的初始值,都可能导致较大误差甚至发散。无迹卡尔曼滤波则将一组精心选取的代表点通过非线性函数进行传播,以近似计算变换后的均值和协方差。一般而言,这两种方法都无法准确刻画多峰后验分布。
**粒子滤波**用带权样本表示滤波分布:
粒子通过提议分布进行传播,再根据观测重新赋权,通常还会进行重采样,将计算资源集中在较为可能的区域。在自举粒子滤波中,状态转移分布本身就是提议分布。粒子方法可以处理非高斯分布和多峰分布,但不合适的提议分布或信息量极高的观测,可能使几乎全部权重都集中在极少数粒子上。对于高维状态,这种退化现象可能使直接实现的计算成本高到难以承受。
有限状态的隐马尔可夫模型是一种与之密切相关的模型,其潜在状态在有限集合中取值。不同领域的术语用法有所不同:有些领域将“状态空间模型”专用于状态取连续值的模型,另一些领域则将隐马尔可夫模型也包括在内。切换状态空间模型将离散运行模式与连续状态结合起来,允许不同模式采用不同的状态转移矩阵或噪声水平。精确推断可能涉及分量数迅速增长的高斯混合分布,因此需要采用近似、剪枝或模拟方法。
变分推断、拉普拉斯近似和马尔可夫链蒙特卡洛为潜在状态轨迹和参数不确定性的推断提供了其他途径。这些方法是否适用,取决于状态维度、观测序列长度、平滑性,以及是否需要在线推断。对于条件线性高斯模型,可以通过解析积分消去部分分量,而用粒子表示其余变量。这种拉奥–布莱克韦尔化方法利用模型结构,而不是模拟每一个未知量,从而降低抽样变异。
反馈控制与科学应用
在反馈控制中,状态空间模型将估计与控制行动联系起来。如果状态可观测,线性反馈律
会将闭环状态转移矩阵从 变为 。在满足可控性假设的条件下,极点配置方法通过选择 ,使闭环系统具有期望的特征值。其他方法则通过选择反馈来权衡相互竞争的目标。**线性二次调节器**使一个对状态偏差和控制输入代价施加惩罚的二次型代价函数最小化,其反馈增益通过求解里卡蒂方程得到。这种权衡由权重矩阵指定,而不是仅由状态空间表示本身决定。
当状态未被完全测量时,控制器可以使用估计状态。在标准的线性二次高斯问题中,适当的假设可导出分离原理:最优状态估计器和最优全状态反馈控制器可以分别设计,再组合使用。这是一项特殊结论,并非不确定非线性控制的一般性质。在非线性或部分可观测的问题中,一个控制行动可能同时改变物理状态以及可获得的状态信息,因此估计与控制可能变得不可分割。
**模型预测控制**利用状态空间模型预测有限时域内的轨迹,求解带约束的优化问题,施加所选输入序列中的第一个输入,并在获得新的测量值后重复这一过程。与无约束的线性二次调节不同,它可以显式处理执行器饱和、运行限制以及输入之间的耦合约束。其性能取决于模型精度、状态估计、优化速度以及对扰动的处理方式。该框架广泛应用于工业过程控制,其中温度、流量和浓度可能以不同的时间尺度演化。
目标跟踪展示了物理推理如何决定状态与噪声的建模方式。采样间隔为 的一维匀速模型采用
位置传感器的测量矩阵为 。速度虽不直接测量,但可以根据连续的位置测量推断出来。如果将加速度建模为谱强度为 的连续白噪声,则其精确的离散时间协方差为
非对角项体现了加速度的不确定性会同时影响位置和速度这一事实。
科学应用并不限于工程控制。生态模型区分潜在的种群数量与不完全探测;地球物理数据同化将随时间演化的物理模型与观测相结合;生理模型则描述由传感器间接测量的隐含过程。在这些应用中,观测方程都具有重要的科学意义。例如,测得的种群数量出现表观变化,可能源于探测情况的变化,而非种群动力学本身。状态空间建模将这些可能的解释明确呈现出来,但要区分它们,仍需要信息充分的数据和有充分依据的结构假设。
历史发展与现代计算架构
基于状态的描述源于经典力学,其中位置和动量共同确定系统在某一瞬间的状态。二十世纪的状态空间方法伴随电子计算与多变量控制的发展而兴起,为以传递函数为核心的方法提供了一种时域替代方案。鲁道夫·E. 卡尔曼在1960年发表的线性滤波论文中,提出了如今以他命名的递归离散时间估计器。1961年,卡尔曼与理查德·S. 布西建立了相应的连续时间滤波理论。他们的工作以适合序贯计算的形式,将动态模型、不确定性传播与估计联系起来。
这一方法在航空航天制导与导航领域产生了重要影响,因为这些领域的测量数据是依次到达的,而且并非所有关键量都能直接测得。可观测性、可控性和最小实现理论为描述内部动态及输入输出等价性建立了一套系统的语言。在统计学中,状态空间方法为含潜在成分的时间序列和递归预测提供了统一的表示形式。1965年的劳赫–通–斯特里贝尔平滑方法及后续计算技术的发展,将这一框架从实时估计拓展到了事后轨迹重建和基于似然的分析。
一般非线性滤波仍然更为困难,因为概率分布在预测与更新后不再保持封闭性。1993年,尼尔·戈登、戴维·萨尔蒙德和阿德里安·史密斯提出自助滤波方法,此后序贯蒙特卡洛方法的影响尤为显著。随着计算能力的提升,这类方法的实用价值日益凸显;与此同时,近似高斯方法在要求低延迟的应用中仍然十分重要。现代实现将统计算法与稀疏计算、矩阵分解及自动微分相结合,以拟合大型模型,或将已知的物理动态嵌入可训练系统。
在机器学习中,“状态空间模型”一词也用于描述围绕如下递推关系构建的序列处理架构:
对于初始状态为零的时不变线性递推,这等价于一个因果卷积,其卷积核为
这种等价性支持不同的计算策略:流式推理可采用递归更新,完整序列的计算则可采用卷积。这类架构中的隐藏状态不一定表示经过校准的概率分布,其训练目标也可能侧重预测而非生成。
结构化状态空间序列模型通常称为S4,由阿尔伯特·顾、卡兰·戈埃尔和克里斯托弗·雷于2021年提出,利用结构化参数化来支持长程序列计算。选择性状态空间模型进一步发展了这一方向;顾与特里·道于2023年提出的Mamba,使递推关系中的部分要素依赖于当前输入。这种输入依赖性通常会使模型不再等价于采用单一固定卷积核的卷积,但也使状态更新能够依内容而变化。这些架构与经典控制模型和统计模型采用相同的状态转移数学形式,但并不因此就具备贝叶斯滤波、物理可解释性或不确定性估计能力。它们的计算性能取决于参数化方式、状态维数、硬件实现和序列处理任务。