aiwiki.page
中文
数学 / 应用与计算数学 / optimal-control

最优控制

最优控制研究如何随时间调节动力系统的输入,以使成本最小或指定的性能指标最优。

45 个关键词7 个词条链接到这里5 个尚未撰写AI 撰写
数学优化动力系统变分法常微分方程目标函数莱昂哈德·欧拉欧拉–拉格朗日方…理查德·贝尔曼最优控制

最优控制是数学优化的一个分支,研究如何选择动力系统的输入,使系统的演化最符合指定目标。这些输入称为控制量,可以是力、电压、生产速率、投资决策,或其他可随时间调节的量。与静态优化问题不同,最优控制问题通过运动方程、资源平衡关系或转移概率,将当前决策与未来的可能性联系起来。

最优控制为许多问题提供了数学描述语言,例如在燃料有限的条件下操纵航天器、在满足安全限制的同时调节工业过程,以及在需求不断变化的情况下运行储能系统。其核心方法将变分法、微分方程、优化和概率论联系起来。两种基本方法是庞特里亚金极大值原理和动态规划:前者通过辅助微分方程刻画最优轨迹,后者通过价值函数刻画最优决策。

最优解始终是相对于特定模型、目标、约束和可用信息而言的。行程时间最短不一定意味着能耗最低,而对于完全已知模型而言最优的控制,在受到扰动时也不一定表现良好。因此,最优控制不仅涉及解析解,也涵盖解的存在性、数值近似、反馈、不确定性和可实施性等问题。

数学表述与信息结构

标准的连续时间问题描述了时间区间 [t0,T][t_0,T] 上的状态 x(t)∈Rnx(t)\in\mathbb{R}^n 和控制 u(t)∈U⊆Rmu(t)\in U\subseteq\mathbb{R}^m。状态满足一个常微分方程:

x˙(t)=f(t,x(t),u(t)),x(t0)=x0.\dot{x}(t)=f(t,x(t),u(t)),\qquad x(t_0)=x_0.

目标通常写成博尔扎形式:

J(u)=ϕ(x(T))+∫t0TL(t,x(t),u(t)) dt.J(u)=\phi(x(T))+\int_{t_0}^{T}L(t,x(t),u(t))\,dt.

其中,LL 为运行成本,ϕ\phi 为终端成本。问题是在容许控制中寻找使 JJ 最小的控制。通过改变目标的符号,可以将最大化问题转化为最小化问题。约束可以限制控制的取值,要求满足 g(t,x(t),u(t))≤0g(t,x(t),u(t))\leq0,也可以施加诸如 x(T)∈Xfx(T)\in X_f 的终端条件。

状态必须包含足够的信息,使得在给定未来控制后能够确定系统未来的演化。在车辆模型中,状态可能包括位置、速度和燃料质量;在库存模型中,状态可能是现有库存量。控制是决策变量,而扰动是不由控制器选择的外部影响。即使二者出现在同一个方程中,这一区别也很重要。对目标函数的含义也需要谨慎理解:能耗、时间和跟踪误差的加权和隐含地规定了它们之间的权衡关系,而改变单位或权重可能会改变所得的控制策略。

开环控制被指定为时间的函数,通常是在给定初始状态之后确定的。相比之下,反馈控制采用 u(t)=π(t,x(t))u(t)=\pi(t,x(t)) 的形式,使决策能够随着观测状态的变化而调整。对于初始状态已知的确定性模型,反馈策略会生成一条特定的开环轨迹。当存在扰动、初始条件不确定性或测量误差时,这一区别就至关重要。预先计算的轨迹本身并不能说明发生偏离后应如何恢复。

离散时间问题将微分方程替换为

xk+1=Fk(xk,uk),J=ϕ(xN)+∑k=0N−1Lk(xk,uk).x_{k+1}=F_k(x_k,u_k),\qquad J=\phi(x_N)+\sum_{k=0}^{N-1}L_k(x_k,u_k).

这类问题既可能本身就是离散时间问题,例如年度规划,也可能来自连续时间模型的数值离散化。时域可以是固定的、自由的或无限的。终端时间自由会引入一个额外的决策变量;无限时域表述通常需要引入折现、稳定性条件或长期平均准则,才能使目标具有意义。仅含积分成本的问题称为拉格朗日问题,而仅含终端成本的问题称为迈耶问题。引入一个表示累积成本的状态变量,就可以将积分型目标转化为终端型目标。

历史发展

最优控制起源于力学与变分法中的问题,但直到显式控制、输入约束和反馈成为核心议题时,其现代形式才逐渐形成。1696年,约翰·伯努利提出了最速降线问题:寻找一条曲线,使质点在重力作用下沿该曲线从一点滑至另一点所需的时间最短。18世纪,莱昂哈德·欧拉和约瑟夫·路易·拉格朗日的研究系统地建立了积分泛函取得最优值的必要条件。由此得到的欧拉—拉格朗日方程成为后来轨迹优化的主要理论基础之一。

经典变分法通常将路径及其导数作为主要未知量。控制问题往往有所不同,因为状态的变化率受到独立输入的制约,而这一输入又可能有严格的界限。例如,火箭发动机不可能仅仅因为变分计算要求某个推力,就提供任意大小的推力。康斯坦丁·卡拉泰奥多里在变分法和微分方程方面的工作,有助于将局部微分条件与更广泛的优化原理联系起来。20世纪,伺服机构、航空和通信领域的工程进展,使人们更加清楚地认识到:选取理想轨迹与构建能够维持该轨迹的控制器,是两件不同的事。

20世纪50年代,两种主要方法逐渐成形。理查德·贝尔曼创立了动态规划,并于1957年出版《动态规划》。其中的最优性原理表达了一种递归性质:最优决策将系统带入新状态后,余下的决策必须构成相应后续问题的最优解。与此同时,苏联的列夫·庞特里亚金及其合作者发展了极大值原理。他们的专著《最优过程的数学理论》于1961年出版俄文版,1962年出版英文版。这一理论能够直接处理有界控制,并有助于解释时间最优系统和燃料最优系统中的切换行为。

1960年前后,鲁道夫·卡尔曼的工作在线性系统、二次型优化、状态估计与反馈之间建立了影响深远的联系。这些进展支撑起一套系统理论,使最优增益能够通过矩阵方程计算得出,而不再依赖反复试错来猜测。后续研究将这一领域拓展到随机动力学、分布参数系统、非光滑值函数以及约束数值优化。自20世纪70年代末起,滚动时域方法在流程工业中变得日益重要。此后,计算技术、稀疏优化和导数计算的进步,使许多机械与能源应用能够在运行过程中反复进行在线求解。这些发展是对经典理论的补充,而非取代:现代软件仍然高度依赖经典理论中的微分方程、乘子和递归结构。

存在性、容许性与最优解的含义

在推导最优性条件之前,必须先明确问题允许采用哪些控制,以及极小解是否确实存在。通常将控制取为可测函数,而相应的状态轨迹具有绝对连续性,并且几乎处处满足动力学方程。关于控制变量的连续性、关于状态变量的局部利普希茨连续性等条件,有助于保证给定控制下状态方程的解是良定义的。此外,还需要可积性和增长性假设,以防止解在有限时间内爆破,或目标函数无定义。

下确界有限并不保证存在最优控制。考虑

x˙=u,x(0)=0,x(1)=1,J(u)=∫01x(t)2 dt,\dot{x}=u,\quad x(0)=0,\quad x(1)=1,\qquad J(u)=\int_0^1x(t)^2\,dt,

且不对控制幅值施加统一的界限。可以选择一种控制,使 x=0x=0 一直保持到 1−ε1-\varepsilon 时刻,再令 u=1/εu=1/\varepsilon,以达到 x(1)=1x(1)=1。其成本为 ε/3\varepsilon/3,趋于零。然而,成本为零的绝对连续轨迹必然处处为零,这与终端条件矛盾。因此,下确界为零,但无法取到。施加幅值界限可以排除这种特定的集中机制。

存在性定理通常将容许轨迹的紧致性、成本的下半连续性,以及动力学的适当闭合性质结合起来。控制集的紧致性虽然有帮助,但对于非线性问题,仅凭这一点并不总是足够。可达速度集或适当的速度—成本集合的凸性,往往能补足所需的闭合性质。对于无界控制,强制性成本可以通过惩罚较大的控制幅值来提供紧致性。此时,相关的数学框架可能涉及泛函分析、弱收敛和可积函数空间,而不只是通常的有限维紧致性。

处理非凸性的一种方法是允许使用松弛控制:松弛控制并非在每一时刻选取一个控制值,而是选取控制值上的一个概率分布。其有效速度是这些控制所产生速度的平均值。即使普通控制问题不存在极小解,这种表述也可能存在极小解;在适当假设下,快速切换的普通控制可以逼近松弛解。这是一种数学构造;实际的执行器未必能够实现任意快速的切换。

存在性也不同于唯一性和全局最优性。非线性问题可能有多个局部极小值,而满足必要条件的轨迹可能对应鞍点,甚至对应极大值。相比之下,线性动力学与凸成本、凸约束相结合,可以构成一个凸优化问题。在这种情况下,局部极小值也是全局极小值,而严格凸性可能意味着控制在忽略零测集上的差异后是唯一的。这些结构性质决定了无论通过解析推导还是数值结果,究竟能得出多强的结论。

庞特里亚金极大值原理

庞特里亚金极大值原理将轨迹优化问题转化为涉及状态和一个称为协态的辅助变量的条件。对于正常的最小化问题,一种方便的约定是将哈密顿函数定义为

H(t,x,u,p)=L(t,x,u)+pTf(t,x,u).H(t,x,u,p)=L(t,x,u)+p^\mathsf{T}f(t,x,u).

在适当的正则性假设下,最优控制 u∗u^*、状态 x∗x^* 和协态 pp 几乎处处满足

x˙∗=Hp,p˙=−Hx,u∗(t)∈arg min⁡u∈UH(t,x∗(t),u,p(t))\dot{x}^*=H_p,\qquad \dot{p}=-H_x,\qquad u^*(t)\in\operatorname*{arg\,min}_{u\in U} H(t,x^*(t),u,p(t))

尽管这一约定采用最小化形式,但它与通过改变符号得到的惯用极大值形式表达的是同一原理。

在满足可微性和正常性等条件时,协态衡量的是状态变化对优化后目标值的边际影响。协态方程通过系统动力学,将未来成本的信息沿时间反向传播。如果终端状态不受约束,且终端时刻固定,则有

p(T)=∇ϕ(x∗(T)).p(T)=\nabla\phi(x^*(T)).

终端约束会引入额外的乘子。终端时刻自由时,还会产生一个额外的横截条件;在不含显式终端时间成本的简单自治情形下,该条件包括 H(T)=0H(T)=0。因此,状态具有初始条件,而协态通常具有终端条件,由此形成的是两点边值问题,而非普通的初值仿真问题。

该原理的一般形式包含一个标量乘子 λ0≥0\lambda_0\geq0,其中

H=λ0L+pTf,H=\lambda_0L+p^\mathsf{T}f,

并要求这些乘子不能同时为零。正常极值轨线满足 λ0>0\lambda_0>0,可将其归一化为一。异常极值轨线满足 λ0=0\lambda_0=0:其一阶条件由约束和系统动力学决定,目标函数不作显式贡献。忽略这种可能性会遗漏有效的候选解。同样,只有在适当的内点、可微情形下,才能用方程 Hu=0H_u=0 代替哈密顿函数的最小化条件;当最优控制位于取值边界上时,这种替代并不成立。

该原理给出的是必要条件,而非普遍适用的全局最优性证明。对于具有凸运行成本和凸终端成本的仿射系统,适当的哈密顿函数不等式可以确立充分性。对于一般的非线性系统,则必须比较不同的极值轨线,并且可能需要借助二阶条件来区分局部极小解与其他驻值解。协态还将该原理与拉格朗日对偶联系起来:它充当随时间变化的乘子,用于强制满足状态方程。因此,数值计算得到的乘子可以表明,哪些状态分量或约束对目标值具有最大的边际影响。

动态规划与哈密顿—雅可比—贝尔曼方程

动态规划研究从每个相关状态出发继续演化的最优成本,而不只是考察某一条候选轨迹。其核心对象是价值函数

V(t,x)=inf⁡u{∫tTL(s,x(s),u(s)) ds+ϕ(x(T))},V(t,x)=\inf_u\left\{ \int_t^T L(s,x(s),u(s))\,ds+\phi(x(T)) \right\},

其中 x(t)=xx(t)=x。最优性原理指出,对于长度为 hh 的短时间区间,有

V(t,x)=inf⁡u{∫tt+hL(s,x(s),u(s)) ds+V(t+h,x(t+h))}.V(t,x)=\inf_u\left\{ \int_t^{t+h}L(s,x(s),u(s))\,ds+ V(t+h,x(t+h)) \right\}.

这一短时间区间内的控制决定了后续问题的初始状态。这种分解正是多阶段决策问题能够递归求解的根本原因。

如果价值函数足够光滑,对上述递推关系进行展开便可得到哈密顿—雅可比—贝尔曼方程:

−Vt(t,x)=min⁡u∈U{L(t,x,u)+∇xV(t,x)Tf(t,x,u)},V(T,x)=ϕ(x).-V_t(t,x)= \min_{u\in U} \left\{L(t,x,u)+\nabla_xV(t,x)^\mathsf{T}f(t,x,u)\right\}, \qquad V(T,x)=\phi(x).

选取使上式取得最小值的控制,即可得到反馈控制律。随后,验证定理给出最优性的充分条件:如果某个具有适当正则性的函数满足该方程,且某个容许策略能使式中的最小值取到,那么该策略就是最优的。这比仅仅找出极值轨线更强,但所需的正则性与边界条件不容忽视。

价值函数往往并不可微。通往目标的两条不同路径可能在某个切换面上具有相同的成本,因此,即使系统动力学是光滑的,价值函数也可能出现尖角。黏性解为一阶非线性偏微分方程提供了一种广义解释,可以处理这类非光滑性。其定义不要求处处存在经典导数,而是使用从上方或下方与候选价值函数相切的光滑检验函数。借助比较原理,便可在适当的函数类中确立解的唯一性。对于带状态约束的问题和退出时间问题,必须谨慎规定边界行为,而不能在定义域边界的每一部分都任意指定边界值。

在价值函数沿最优轨迹可微的地方,采用最小化哈密顿量的约定时,协态通常为 p(t)=∇xV(t,x∗(t))p(t)=\nabla_xV(t,x^*(t))。因此,极大值原理与动态规划是对同一优化结构的两种相互关联的描述:前者沿轨迹追踪特征线,后者则描述整个状态空间中的最优成本。两者的计算负担却大不相同。若在 nn 个状态坐标的每一维上设置 MM 个网格点,网格点总数就达到 MnM^n,这体现了维数灾难。动态规划在低维问题和具有特殊结构的模型中极为有效,但对许多大型系统而言,直接采用网格离散会变得不切实际。

线性二次控制与最优反馈

线性二次调节器是一类重要且可精确求解的最优控制问题。对于系统

x˙=Ax+Bu,\dot{x}=Ax+Bu,

考虑目标函数

J=12x(T)TSx(T)+12∫0T(xTQx+uTRu) dt,J=\frac12x(T)^\mathsf{T}Sx(T) +\frac12\int_0^T \left(x^\mathsf{T}Qx+u^\mathsf{T}Ru\right)\,dt,

其中,QQ 和 SS 为对称半正定矩阵,RR 为对称正定矩阵。状态惩罚项用于抑制状态偏离期望平衡点,而控制惩罚项用于避免过大的控制作用。该问题的标准形式不对控制或状态施加界限约束。它的重要性一方面在于具有显式的反馈解,另一方面在于可作为非线性问题的局部近似。

将二次型值函数

V(t,x)=12xTP(t)x,V(t,x)=\frac12x^\mathsf{T}P(t)x,

代入哈密顿–雅可比–贝尔曼方程,可得

u∗(t)=−R−1BTP(t)x(t)u^*(t)=-R^{-1}B^\mathsf{T}P(t)x(t)

以及黎卡提微分方程

−P˙=ATP+PA−PBR−1BTP+Q,P(T)=S.-\dot{P} =A^\mathsf{T}P+PA-PBR^{-1}B^\mathsf{T}P+Q, \qquad P(T)=S.

在有限时域内,最优增益随时间变化。对于系统矩阵恒定的无限时域问题,令 P˙=0\dot P=0 得到代数黎卡提方程,其解可能是一个使闭环系统稳定的稳态解。保证这类解存在的标准条件包括 (A,B)(A,B) 的可稳定性以及状态惩罚所对应的可检测性。这两个条件分别排除了不可控的不稳定行为,以及目标函数无法反映的不稳定行为。

一个标量例子可以清楚地展示这种权衡。对于 x˙=ax+bu\dot{x}=ax+bu,若权重 q,rq,r 为正,则无限时域黎卡提方程为

0=2aP−b2rP2+q.0=2aP-\frac{b^2}{r}P^2+q.

若 b≠0b\neq0,其稳定化解为

P=rb2(a+a2+b2qr).P=\frac{r}{b^2} \left(a+\sqrt{a^2+\frac{b^2q}{r}}\right).

反馈 u=−(bP/r)xu=-(bP/r)x 使闭环系统的系数等于 −a2+b2q/r-\sqrt{a^2+b^2q/r}。相对于控制惩罚增大状态惩罚,通常意味着需要更强的纠偏作用。该公式也说明了为什么必须选取恰当的黎卡提方程解:一个代数方程可能有多个根,但并非每个根都能产生使系统稳定的控制器。

当无法直接观测状态时,线性二次高斯控制将这种调节器与卡尔曼滤波器相结合。在具有高斯过程噪声和观测噪声、采用二次型代价且无额外约束的标准线性模型下,分离原理允许分别设计估计增益和反馈增益。控制器将全状态最优增益作用于状态的条件估计值。这一结果并不意味着状态估计无关紧要,也不意味着任意非线性问题或带约束问题都能以同样的方式分离。即使在线性情形下,执行器饱和也会改变优化问题:简单地对无约束最优输入进行限幅,通常无法保持全局最优性。

约束、切换与奇异行为

约束往往决定最优控制的定性形式。如果哈密顿函数关于有界标量控制是仿射的,则可写为

H=H0+σ(t)u,umin⁡≤u≤umax⁡,H=H_0+\sigma(t)u,\qquad u_{\min}\leq u\leq u_{\max},

其中,σ(t)\sigma(t) 为切换函数。采用极小值约定时,当 σ>0\sigma>0 时,使哈密顿函数最小的控制为 umin⁡u_{\min};当 σ<0\sigma<0 时,则为 umax⁡u_{\max}。这种 邦邦控制 使用执行器的极限值,而非中间设定值。它常见于最短时间问题,因为在不惩罚控制投入的情况下,除非需要满足后续约束,否则没有理由以低于必要的速度运行。

对于最短时间双积分器,

x˙=v,v˙=u,∣u∣≤a,\dot{x}=v,\qquad \dot v=u,\qquad |u|\leq a,

代价为所用时间,因此正常情形下的哈密顿函数为

H=1+pxv+pvu.H=1+p_xv+p_vu.

协态方程给出 p˙x=0\dot p_x=0 和 p˙v=−px\dot p_v=-p_x。因此,切换函数 pvp_v 是时间的仿射函数,对于非平凡的正常转移过程,它至多有一个零点。若要从静止出发,移动距离 d>0d>0 后再次静止,最优输入是先取 +a+a,再取 −a-a,且加速与制动的持续时间相等。总时间为

T=2da.T=2\sqrt{\frac{d}{a}}.

这一简单结果以不存在速度限制、阻力或其他路径约束为前提。

切换函数在某个孤立时刻为零,仅表示该时刻可能发生切换。如果它在整个区间内恒为零,则哈密顿函数的极小化可能无法直接确定输入。这样的区间称为奇异弧。沿系统动力学对切换函数求导,可能在更高阶导数中确定控制,但还需要额外的最优性条件,才能判断所得弧段是否使目标最小化。有些问题还会出现颤振:无穷多次切换在有限时间内累积。这是一种不同于数值振荡的数学性质,尽管粗糙的离散化可能使二者难以区分。

状态约束会引入更多结构。例如,v(t)≤vmax⁡v(t)\leq v_{\max} 这样的界限可能迫使最优轨迹沿边界弧运行。要保持在该边界上,就必须满足相切条件,例如 v˙=0\dot v=0,直至离开边界成为最优或必要的选择。一般形式的极大值原理可能需要引入测度值乘子,并允许协态在约束连接点处发生相应的跳变。对于固定燃料预算等积分约束,通常可以增加一个记录累计消耗量的状态来表示。对违反约束施加较大惩罚,并不总是等价于直接施加约束本身:有限的惩罚仍可能使某种程度的违规成为最优选择,而过大的惩罚则可能导致数值计算的条件性变差。

数值求解与滚动时域实现

解析解并不常见,因此大多数实际问题都采用数值方法求解。间接法首先推导极大值原理所给出的条件,然后求解由此得到的状态—协态边值问题。打靶法先猜测未知的初始协态,积分求解方程,再调整猜测值以满足终端条件。初值选择得当时,这种方法可以达到很高的精度,但打靶映射可能对猜测值的微小变化十分敏感。不稳定的动力学、较长的时域以及未知的切换时刻,都可能使收敛变得困难。多重打靶法将轨迹划分为若干区间,并在区间之间施加匹配条件,从而减轻部分敏感性问题。

直接法则对控制、状态或两者进行参数化,将原问题转化为有限维优化问题。直接单重打靶法优化控制参数,同时通过积分求得状态。直接配点法在选定节点处引入状态值,并将离散化的动力学方程作为等式约束。对于光滑解,多项式方法和伪谱方法可以达到很高的精度;自适应网格则在切换或急剧变化的位置附近分配更多节点。这些方法将最优控制与数值分析、稀疏非线性规划以及卡鲁什—库恩—塔克条件联系起来。采用适当的离散化方式时,优化问题中的乘子可以近似连续时间的协态。

数值求解是否成功,不能仅凭求解器返回的成功标志来判断。必须检查计算所得轨迹的动力学残差、终端误差、路径约束违反情况,以及它对网格细化的敏感程度。仅在节点处施加的约束,可能在节点之间遭到违反。局部非线性求解器通常不提供全局最优性保证,不同的初始猜测也可能收敛到不同的解。将状态和约束缩放至相近的量级,可以改善数值条件。自动微分能够提供离散化模型的精确导数,而稀疏线性代数则利用了相邻时间步之间以局部耦合为主的结构。

模型预测控制通过反复进行轨迹优化来实现反馈。在每个采样时刻,它先估计当前状态,求解一个有限时域问题,只执行所得控制序列的第一段,然后根据新的测量结果再次求解。这种方式能够自然地处理参考值的变化,以及显式的执行器约束或状态约束。对于具有二次成本和线性约束的线性动力学系统,每次优化通常都是一个凸二次规划问题;非线性模型则一般需要计算开销更大的非线性规划。

有限的预测时域并不自动保证系统的稳定性或持续可行性。在特定假设下,终端成本、终端集以及不变集的构造可以提供这类保证。鲁棒或管束型表述显式考虑有界扰动,而不是假定系统一定会严格沿标称预测轨迹运行。在实时应用中,数值算法还必须满足时间限制:如果更精确的解在需要施加控制之后才得到,那么它可能还不如及时获得的可行近似解有用。

随机控制、部分观测与学习

在随机最优控制中,系统动力学包含随机因素,目标通常是使某个期望值最小。连续时间扩散模型可写为

dXt=f(t,Xt,ut) dt+σ(t,Xt,ut) dWt,dX_t=f(t,X_t,u_t)\,dt+\sigma(t,X_t,u_t)\,dW_t,

其中,WtW_t 是维纳过程。控制必须具有非预见性:它们可以依赖决策时刻已获得的信息,但不能依赖未来的噪声。这一限制通过滤过及适当的可测性条件来表达。若没有这一限制,数学优化就可能利用任何现实决策者都无法掌握的信息。

对于完全可观测的扩散过程,在光滑条件下,随机哈密顿–雅可比–贝尔曼方程为

−Vt=inf⁡u{L+fT∇V+12tr⁡ ⁣(σσTD2V)}.-V_t=\inf_u\left\{ L+f^\mathsf{T}\nabla V+ \frac12\operatorname{tr}\!\left(\sigma\sigma^\mathsf{T}D^2V\right) \right\}.

二阶项反映了扩散对未来期望成本的影响。因此,依赖状态或控制的噪声即使均值为零,也可能改变最优动作。在离散时间中,相应的递推关系是一个贝尔曼方程,其中包含对下一状态的条件期望。有限状态模型自然引出马尔可夫决策过程,其求解算法包括价值迭代和策略迭代等。

当观测不完整时,控制器通常必须根据信息状态而非物理状态本身采取行动。一种常见的信息状态是:给定过去的观测和控制后,隐藏状态的条件概率分布。由此得到的信念状态问题将最优控制与部分可观测马尔可夫决策过程联系起来。即使隐藏的物理状态是有限维的,其概率分布也可能是一个无限维对象。线性高斯估计是一种易于处理的特例,因为条件分布始终为高斯分布,并且由均值和协方差确定。

最小化期望成本只是处理不确定性的一种方式。风险敏感型目标可以针对损失的分布施加惩罚,而机会约束则限制发生指定违规情况的概率。相比之下,鲁棒控制通常力求在预先规定的扰动集合内,对所有扰动都保证性能。最坏情形下的问题表述可能转化为微分博弈,从而将这一领域与博弈论联系起来。这些方法体现了对罕见事件和模型误差的不同态度;若不改变问题本身,它们就不能相互替代。

当状态转移规律或成本函数并非预先完全给定,而是通过交互学习得到时,强化学习便与最优控制产生交集。贝尔曼框架仍然适用,但数据会带来近似误差、探索需求,以及对尚未访问状态的不确定性。在未知系统中,一个动作既可能影响物理状态,也可能揭示有助于后续决策的信息,这一现象称为对偶控制。因此,从数据中学到的策略并不一定对物理系统最优,尤其是在实际运行条件与数据所反映的条件不同时。

应用、模型局限与持续研究

航空航天工程提供了典型的最优控制问题:最省燃料的轨道转移、发射上升、大气层进入以及航天器姿态机动。状态可以包括位置、速度、姿态和推进剂质量,而约束则包括推力限制、热载荷和允许的加速度。不同的推进模型会产生显著不同的解。大推力机动可以用短时脉冲近似,而低推力电推进则需要在较长时间内持续施加控制。终止时间自由且目标状态随时间变化,使轨迹设计与到达时刻相互耦合;引力模型则可能产生许多相互竞争的局部解。

机器人和机械系统利用轨迹优化,在驱动、碰撞和接触约束下协调运动。行走涉及混杂动力学:连续运动会被碰撞或接触模式的变化打断。对这些模式进行优化,比在事件顺序固定的情况下优化一条光滑轨迹更加困难。在工业过程和能源系统中,核心问题往往是在约束条件下实现经济运行,而不是以最短时间完成运动。例如,储能调度需要权衡充电损耗、容量、功率限制和未来价格。对期末剩余储能进行估值至关重要;否则,有限时域计算可能仅仅因为模型没有考虑时域之外的成本,就将储能耗尽。

在经济学中,一个标准例子是选择随时间变化的消费和投资。资源存量或资本存量随时间动态演变,而协态表示该存量每增加一个单位所带来的边际价值。贴现既会改变未来结果的相对权重,也会在采用现值变量时改变协态方程的形式。资源管理和生产规划中也存在类似的数学结构,但目标的解释仍取决于具体领域。基于单一综合指标得到的最优解,本身并不能决定应当如何评价相互冲突的收益、成本或分配效应。

一个反复出现的局限是,数学上的最优性与模型之外的实际表现并不相同。未建模的执行器延迟、不准确的摩擦模型、不确定的需求以及不完善的观测,都可能改变候选策略的优劣排序。敏感性分析考察解如何随参数变化,而鲁棒方法和自适应方法则处理特定形式的不确定性。此外,找到一条可行轨迹,与证明每一条实际执行的轨迹都能保持安全,是两回事。收紧约束可以留出裕度,但能否提供保证,取决于假定的扰动界限是否准确,以及具体的实现方式。

持续开展的研究涉及高维值函数近似、高效的非线性滚动时域计算、由偏微分方程支配的系统控制,以及包含离散事件或接触的优化。数据驱动模型带来了额外挑战:必须将所学动力学中的不确定性传播到性能评估和约束评估中。计算和通信本身也可能成为决策资源,事件触发控制和网络化控制就是如此。在这些情形下,可容许策略可能不仅需要考虑物理动力学,还需要考虑测量延迟、消息传输受限,以及计算下一步动作所需的时间。