哈密顿–雅可比–贝尔曼方程(HJB方程)是一种偏微分方程,用于描述连续时间控制问题中所能达到的最优成本或收益。其未知量是一个价值函数:它为每个时刻和状态赋予一个值,表示从该起点出发所能达到的最佳表现。该方程表达了一种局部一致性要求:在最初一小段时间内作出最优决策之后,在余下的时间内也必须作出最优决策。
HJB方程是贝尔曼方程在连续时间下的对应形式,也是最优控制理论的核心成果之一。确定性系统通常对应一阶方程,而由扩散噪声驱动的系统则对应二阶方程。对可选行动进行优化,通常会使方程呈现非线性,即使在任意固定行动下,系统动力学都是线性的。
该方程的重要性在于,它将对整条轨迹的全局优化与状态空间中的局部方程联系起来。在适当的假设下,求解该方程既能确定最优价值,也能确定最优反馈策略。由于价值函数往往不可微,现代理论在很大程度上依赖黏性解,从而使方程的适用范围超越经典微积分的框架。其应用包括工程控制、经济规划、投资组合选择、微分博弈和连续时间学习。
历史起源与概念发展
HJB方程融合了两条数学发展脉络:力学中的哈密顿—雅可比理论,以及理查德·贝尔曼的动态规划理论。19世纪30年代,威廉·罗恩·哈密顿建立了关于作用量函数的方程,该函数的导数蕴含着力学运动的信息。随后,卡尔·古斯塔夫·雅各布·雅可比进一步发展了这一理论及相关方程的积分方法。在标准的力学表述中,哈密顿—雅可比方程为
其中, 为作用量函数, 为力学中的哈密顿量。该方程的特征曲线给出由哈密顿方程支配的运动轨迹。
这一表述与变分法密切相关。变分法通过选择一条完整路径,使某个积分泛函达到最小值或取驻值。欧拉—拉格朗日方程描述了极值路径上必须满足的条件。哈密顿—雅可比方法则为一族可能的终点赋予一个函数。从单条轨迹转向最优值场的这一变化,预示了现代控制的一个核心特征:描述在各种可能状态下应当如何行动,而不只是计算一条预先规划的运动轨迹。
20世纪50年代,贝尔曼将动态规划提出为处理多阶段决策过程的一般方法。他的最优性原理指出,在适当的表述下,最优策略在初始决策之后的后续部分,对于该决策所到达的状态而言,仍然必须是最优的。贝尔曼于1957年出版的《动态规划》一书,确立了这一方法在广泛优化问题中的应用。当动态规划递推中的时间步长趋于零时,所得的无穷小形式方程便是HJB方程。对控制变量增加的优化运算,使它区别于哈密顿量预先给定的哈密顿—雅可比方程,尽管这两类方程在数学上存在重叠。
另一个后续发展涉及可微性失效后应如何理解方程的解。当不同策略变得同样优良时,最优值函数可能出现尖角;即使基础数据光滑,特征曲线也可能相交。迈克尔·克兰德尔和皮埃尔-路易·利翁斯于20世纪80年代初引入黏性解,为非线性一阶和二阶方程的解的存在性、唯一性与稳定性提供了理论框架。这一理论使人们能够刻画许多值函数,而无须假设它们具有实际上并不存在的导数。它也为HJB方程数值近似的收敛性证明提供了所需的解概念。
确定性控制与动态规划原理
考虑受控状态 ,其满足
其中, 是取值于动作集 的容许控制。给定有限终止时刻 ,定义总成本为
运行成本 衡量瞬时惩罚, 则给出终端成本。值函数为
控制的容许性包含使轨迹和成本有良好定义所需的正则性条件与约束。例如,动力学关于状态满足利普希茨连续性等条件,有助于保证每个容许控制所对应的轨迹存在且唯一。
动态规划原理在中间时刻 将这一优化问题分解为:
右侧的下确界针对的是初始时段的控制;后续阶段的最优成本已由 表示。这一恒等式的成立并不只是将积分作代数拆分。容许控制类必须允许将相容的控制拼接起来;当根据到达的状态选择后续控制时,还可能需要处理可测选择问题。
若 可微,且其他假设允许作无穷小展开,则由该原理可得
其终端条件为
记
便可得到紧凑形式 。梯度衡量状态变动所引起的未来最优成本的边际变化。因此,使成本最小的动作需要在即时成本与其对未来选择空间的影响之间取得平衡。
当下确界能够取到时,一个候选的最优反馈控制为
开环控制从给定初始条件出发,将动作指定为时间的函数;反馈控制则根据当前状态选择动作。HJB方程自然导出的是后者。使成本最小的动作未必唯一;即使没有任何通常意义下的容许控制能够达到最优值,值函数仍可能存在。在将偏微分方程的形式解转化为可实施的最优策略时,这些区别至关重要。
随机动力学与二阶方程
在扩散控制问题中,状态服从随机微分方程
其中, 是 维维纳过程, 是漂移项, 是 扩散矩阵。控制必须适应于可用信息,不能预知未来的噪声。对于风险中性的成本最小化问题,价值函数为
这里的期望值是在给定当前状态的条件下,对未来的随机轨迹取平均。
对于固定的动作,作用于光滑函数 的无穷小生成元为
这里, 是海森矩阵, 表示矩阵的迹。在短时间动态规划恒等式中应用伊藤公式,可得
二阶项源于布朗运动的二次变差,而不是源于某个会在取极限时消失的二阶近似项。
扩散项衡量不确定性如何与价值函数的曲率相互作用。在价值函数局部凸的点,零均值波动往往会增加期望成本;在局部凹的点,曲率项的贡献则符号相反。如果控制者能够影响 ,那么优化不仅涉及漂移,还涉及不确定性的强度或方向。此时,方程对于二阶导数通常是完全非线性的。如果扩散不依赖于控制,最高阶项仍然是线性的,但优化仍可能使梯度项呈现非线性。
解的正则性在很大程度上取决于扩散矩阵。粗略地说,一致椭圆性意味着 在所有状态方向上都保持一致正定。在适当的假设下,这一性质有助于产生平滑效应,并得到更强的正则性结论。许多实际系统的扩散则是退化的:噪声只作用于部分坐标,或者其强度在边界处降为零。在这些情况下,HJB方程可能保留一阶方程的特征,不能预先假定其解具有经典意义下的光滑性。如果状态还存在跳跃,生成元就会包含积分项或非局部项,动态规划方程也随之成为积分-微分HJB方程。
非光滑值函数与黏性解
即使是简单的控制问题,也可能产生非光滑的值函数。设实数轴上的一个粒子满足 ,其中 ,目标是在最短时间内到达原点。最优行进时间为 。在目标点以外,它满足
等价地,满足 。值函数在目标点处有一个尖角,该点的边界值指定为 。更一般地,当不同的最优路径或控制方式交替占据主导地位时,定义域内部也可能出现尖角。
黏性解用与未知函数相切的光滑测试函数的导数,代替未知函数本身的导数。为明确终值型 HJB 方程的符号约定,记
若每当光滑函数 在某个内点从上方与连续函数 相切时,都有
则称 为黏性次解。若从下方相切时满足反向不等式,则称其为黏性上解。黏性解同时满足这两个条件,以及相应的终端条件和边界要求。
对于足够光滑的函数,这一定义与经典方程一致,但在尖角处仍然有意义。它并不只是要求在通常意义下的导数存在之处满足方程。那样更弱的要求可能容许多个不合适的解。一般而言,黏性解也不等同于通过与测试函数积分而定义的分布意义下的弱解。方程对导数的非线性依赖,使许多线性分布方法无法直接沿用。
证明唯一性的核心工具是比较原理:在适当的结构、连续性、边界和增长条件下,只要一个次解在相关边界上不大于某个上解,那么在整个定义域内它也不大于该上解。双向应用比较原理即可得到唯一性。稳定性同样重要:黏性解或相容近似格式在适当控制下取得的极限,仍是极限方程的解。这些性质解释了这一定义为何在理论和计算中都有用,也凸显了边界条件的重要性。对于带状态约束的问题,可能要求控制者将状态保持在某一区域内,而正确的黏性解边界表述,并不一定是在整个边界上指定通常的函数值条件。
验证定理及其与极大值原理的关系
推导 HJB 方程给出了值函数应满足的条件;验证定理则证明某个候选解确实等于最优值。在确定性有限时域情形下,假设 光滑,满足 HJB 方程和终端条件,并具有足够的增长控制与可积性。由于方程中的最小值不大于任一特定动作所对应的表达式,对每个容许的 ,都有
于是,沿受控轨迹应用链式法则可得
积分并利用 ,得到
因此, 是每个容许控制所产生代价的下界。如果存在一个实现最小值的可测反馈控制,能够生成良好定义的容许轨迹,并且沿该轨迹使 HJB 方程中的最小值由该控制取到,那么它的代价就等于 。由此可知 ,且该反馈控制是最优的。在随机情形下,伊藤公式给出了类似的论证;要对随机积分取期望,还需满足适当的可积性条件,或采用局部化方法。
这种保证全局最优性的充分性,是动态规划区别于通常形式的庞特里亚金极大值原理之处。对于确定性最小化问题,引入控制哈密顿函数
在标准正则性假设以及状态位于可行域内部的假设下,最优轨迹具有一个协态 ,满足
并同时满足适当的哈密顿函数最小化条件和终端关系。这些通常只是必要条件,本身并不能证明全局最优性。不同表述采用的符号约定有所差异,尤其是在使用最大化形式时。
当值函数足够光滑时,沿最优轨迹有
这一关系将两种方法联系起来。因此,协态表示状态的边际价值。极大值原理描述候选轨迹及其相应协态,通常将其表述为两点边值问题;HJB 方程则描述整个状态空间区域内的最优性能。对于单个初始状态,前者在计算上可能更有吸引力,而后者则自然适用于反馈控制的综合设计。在 不光滑的点,通常的梯度恒等式需要用广义微分关系替代,并且可能有多条最优轨迹经过同一状态。
线性二次控制与显式示例
线性二次调节器是一个基本情形,在这一情形下,HJB方程可化为矩阵微分方程。设
并考虑代价
其中, 为对称半正定矩阵, 为对称正定矩阵。在控制不受约束的情况下,设价值函数具有二次型形式:
这一假设形式与线性动力学和二次型代价相容。
HJB方程中与控制有关的项为
使其取得最小值的控制唯一,为
代入后得到微分形式的黎卡提方程
这样就不必在整个状态空间上求解偏微分方程,而只需沿时间反向求解 各元素的演化。 的正定性对于这一无约束最小化问题至关重要。在无限时域的时不变情形下,若满足适当的可镇定性和可检测性假设,将 代入所得的代数黎卡提方程便存在镇定解。
通过一个标量示例,可以明确展示计算过程。对于
HJB方程变为
其解为
最优反馈为
剩余时域越长,纠正给定状态所需的代价就越低,因为所需的控制作用可以分摊到更长的时间内。这个示例也说明了终端条件为何要向时间反向传播: 时刻的惩罚决定了较早时刻决策的代价。
对于加性扩散模型
相应的风险中性二次型问题具有如下价值函数:
矩阵 满足同一个黎卡提方程,而
在这一特定的全状态可观测、加性噪声模型中,噪声通过 增加期望代价,但不会改变状态反馈增益。这一性质不能推广到任意随机控制问题:依赖于控制的噪声、非线性动力学、部分观测以及非二次型目标,都可能显著改变最优策略。
无限时域、停止与策略互动
对于折现率为 的无限时域问题,
由时间齐次性可得平稳方程
其中, 项体现了对未来成本进行折现的影响。这类问题没有有限时刻的终端条件,而是借助增长限制和无穷远处的条件来确定所需的解。验证最优性时,通常需要一个横截性条件,以保证折现后的延续价值在极限下趋于零。
长期平均成本问题具有不同的结构。在适当的常返性与可积性假设下,最优平均成本 和相对价值函数 满足遍历型 HJB 方程
给 加上一个常数并不会改变该方程,因此通常需要施加归一化条件。与状态无关的平均成本并不一定存在:这取决于受控系统的动力学,以及不同初始状态或常返区域是否会产生不同的长期行为。
当控制者可以选择何时终止过程时,问题就涉及最优停止。对于停止收益为 的收益最大化问题,其折现平稳形式可以写为
在停止区域内,;在继续区域内,HJB 方程成立。两个区域之间未知的分界面就是自由边界。脉冲控制允许通过付出一定成本的离散干预来改变状态,此时则需引入干预算子,并由此得到拟变分不等式。
在双人零和博弈中,一方试图使成本最小化,另一方则试图使其最大化。动态规划由此导出含有嵌套最小化与最大化运算的哈密顿–雅可比–艾萨克斯方程。交换这两个运算的顺序,结果未必不变。艾萨克斯条件断言相关的极小极大哈密顿量相等,这一条件对于确立双方一致的博弈值十分重要。另一种推广出现在部分观测情形下:控制者可能需要将隐状态的条件分布用作信息状态。此时,相应的 HJB 方程可以定义在概率分布空间上,而不是有限维状态空间上。
数值近似与计算复杂度
HJB方程的数值方法必须同时对微分算子和优化问题进行近似。基本的网格方法将状态空间划分为节点,用有限差分法近似导数,并在每个节点上对动作求最小值。一阶漂移项通常需要采用与漂移方向相适应的方向差分,即迎风差分。对于光滑线性方程表现良好的中心差分,在尖角附近可能产生振荡,或无法选出正确的黏性解。对于扩散项,为保持差分模板的单调性,可能需要增加网格点,尤其是在扩散矩阵的非对角元素较大时。
半拉格朗日格式更直接地对动态规划原理进行离散化。在确定性问题中,典型的推进步骤为
其中, 是插值算子。偏移后的状态不一定落在网格上。概率型方法则通过加权转移来近似扩散,使转移的前两阶矩与局部漂移和协方差相匹配。这类构造揭示了HJB方程的数值格式与离散马尔可夫决策过程之间的密切联系。
对于广泛的一类方程,居伊·巴尔斯与帕纳约蒂斯·苏加尼迪斯于1991年建立的收敛性框架表明:当极限偏微分方程满足适当的比较原理时,单调、稳定且相容的格式能够收敛。这些要求各有作用:相容性确保格式与局部方程相符,稳定性控制近似解,单调性则保留黏性解论证所需的序结构。仅有高阶精度并不足够。滤波格式及相关格式试图将光滑区域中的高精度离散化与必要位置上的单调性结合起来。
非线性离散系统可以通过价值迭代求解,即反复应用离散动态规划算子;也可以通过策略迭代求解,即交替评估固定策略并改进其动作选择。折扣通常能为价值迭代提供压缩映射结构。策略迭代可能收敛得很快,但每次评估都可能需要求解一个大型线性方程组。这两种方法还必须处理如何在连续动作空间上求最小值的问题:将控制离散化会引入独立于空间和时间离散化误差的另一项近似误差。
主要障碍是维数灾难。若在 个状态坐标的每个方向上都设置 个节点,网格就包含 个节点;六维空间中每个方向上仅设置 个节点,节点总数就已达到 。稀疏表示、张量方法、基于模拟的方法和神经网络近似都试图利用额外结构来减轻这一负担,其效果取决于具体问题。仅凭采样点上的方程残差较小,并不能证明全局价值误差较小,也不能证明由此提取的策略具有可容许性和最优性。
应用及其与学习的联系
在工程领域,HJB方程为反馈设计提供了数学基础。状态可以由位置、速度、温度、储存能量或其他物理量组合而成,而控制则表示力、电压、加热速率或执行器指令。运行成本用于权衡跟踪精度与控制投入、燃料消耗或磨损。在导航和最短时间运动问题中,价值函数描述从各个位置出发的剩余行程成本;空间障碍物则表示为状态约束或禁入区域。鲁棒版本用对抗性扰动取代已知的扰动模型,由此得到用于可达性与安全性分析的微分博弈方程。
在经济学中,HJB方程用于表述连续决策下的跨期优化。例如,消费与储蓄模型可以用财富 作为状态、消费 作为控制,并以 表示瞬时效用。平稳的收益最大化方程可以写成
其中, 为利率, 为收入。借贷限制决定了可行控制的范围以及财富边界的处理方式。引入收入不确定性会增加额外的状态变量或扩散项。该方程通过 明确体现了财富的边际价值。
投资组合选择提供了一个随机情形的例子。如果投资于风险资产的财富按下式演化:
那么HJB方程中就包含
曲率 决定了投资风险如何进入目标函数。这一表述是罗伯特·默顿于1969年和1971年建立的连续时间投资组合与消费模型的基础。由此得到的策略取决于对效用、可投资资产、约束条件和市场动态的假设;该方程并不提供不依赖具体模型的投资法则。
HJB方程与强化学习的联系在于贝尔曼原理本身。当系统动力学或成本信息不完全已知时,连续时间学习方法可以尝试从轨迹中学习价值函数、策略,或同时学习二者。在模型可用时,可以利用HJB残差以及终端或边界误差来训练参数化的价值函数近似。在模型未知时,时序差分与受控观测可以提供有关局部动态规划关系的信息。此时,除了求解一个给定的偏微分方程之外,还需要应对探索、采样偏差、近似误差和稳定性等问题。
HJB理论也将基于价值的学习与策略优化联系起来。对于固定策略,方程中的优化运算不再存在,在标准扩散假设下,价值函数满足一个线性后向方程。通过最小化由此得到的哈密顿量来改进策略,就再现了策略迭代的逻辑。神经网络可以表示高维价值函数,而自动微分则为残差目标函数提供所需的导数。然而,经典验证定理要求一些近似网络并不自动具备的性质,包括适当的边界行为、充分的误差控制,以及满足容许性条件的闭环状态演化。