柯尔莫哥洛夫前向方程与后向方程 是描述具有马尔可夫性质 的随机过程 的转移概率如何演化的微分方程。它们从两个互补的视角刻画同一概率演化过程:前向方程将概率分布向较晚的时刻推进,后向方程则将未来的可观测量或收益向较早的起始时刻回推。两者均由描述该过程在极短时间间隔内行为的无穷小算子决定。
对于连续时间马尔可夫链 ,这些方程是含有转移速率的常微分方程组;对于扩散过程,它们则是含有漂移和局部协方差的偏微分方程。扩散过程的前向方程通常称为福克–普朗克方程 ;相应的后向方程则在退出概率、期望首达时间、随机控制以及微分方程的概率表示中发挥着核心作用。二者的共同结构将概率论与算子理论、统计物理、种群建模和数值分析联系起来。
转移概率与无穷小生成元 设 X t X_t X t 是状态空间 E E E 上的马尔可夫过程。其转移核为
P s , t ( x , A ) = Pr ( X t ∈ A ∣ X s = x ) , s ≤ t , P_{s,t}(x,A)=\Pr(X_t\in A\mid X_s=x), \qquad s\leq t, P s , t ( x , A ) = Pr ( X t ∈ A ∣ X s = x ) , s ≤ t ,
其中,A A A 是 E E E 的可测子集。即使给定 X s = x X_s=x X s = x 的条件概率需要通过正则条件分布来解释,这一记号仍可用来指定转移规律。查普曼—柯尔莫哥洛夫方程 指出,
P s , t ( x , A ) = ∫ E P r , t ( z , A ) P s , r ( x , d z ) , s ≤ r ≤ t . P_{s,t}(x,A) = \int_E P_{r,t}(z,A)\,P_{s,r}(x,dz), \qquad s\leq r\leq t. P s , t ( x , A ) = ∫ E P r , t ( z , A ) P s , r ( x , d z ) , s ≤ r ≤ t .
这些方程表明,一个时间区间内的演化可以借助某个中间时刻分解为两段。
对于适当的检验函数 f f f ,定义转移算子
( U ( s , t ) f ) ( x ) = ∫ E f ( y ) P s , t ( x , d y ) . (U(s,t)f)(x) = \int_E f(y)\,P_{s,t}(x,dy). ( U ( s , t ) f ) ( x ) = ∫ E f ( y ) P s , t ( x , d y ) .
因此,U ( s , t ) f U(s,t)f U ( s , t ) f 是未来可观测量 f ( X t ) f(X_t) f ( X t ) 的条件期望 ,并被视为当前状态的函数。算子的复合满足
U ( s , t ) = U ( s , r ) U ( r , t ) . U(s,t)=U(s,r)U(r,t). U ( s , t ) = U ( s , r ) U ( r , t ) .
在时间齐次情形下,U ( s , t ) = T t − s U(s,t)=T_{t-s} U ( s , t ) = T t − s ,且算子族 T t T_t T t 构成一个马尔可夫半群 。
时刻 t t t 的无穷小生成元 在形式上定义为
L t f = lim h ↓ 0 U ( t , t + h ) f − f h . L_t f = \lim_{h\downarrow0} \frac{U(t,t+h)f-f}{h}. L t f = h ↓ 0 lim h U ( t , t + h ) f − f .
该极限在适当的函数定义域上,按照指定的收敛方式定义。在有限维情形下,它只是矩阵的导数;对于扩散过程,它通常是一个无界微分算子。
对转移算子的复合法则求导,可在适当的定义域上得到两个算子方程:
∂ ∂ t U ( s , t ) = U ( s , t ) L t \frac{\partial}{\partial t}U(s,t) = U(s,t)L_t ∂ t ∂ U ( s , t ) = U ( s , t ) L t
以及
∂ ∂ s U ( s , t ) = − L s U ( s , t ) , \frac{\partial}{\partial s}U(s,t) = -L_sU(s,t), ∂ s ∂ U ( s , t ) = − L s U ( s , t ) ,
第一个方程考察终止时刻 t t t 的变化;第二个方程考察起始时刻 s s s 的变化。L t L_t L t 的位置至关重要,因为不同时刻的算子未必可交换。
若以 μ t \mu_t μ t 表示 X t X_t X t 的概率分布,则其演化可用弱形式写为
d d t ∫ E f d μ t = ∫ E L t f d μ t . \frac{d}{dt}\int_E f\,d\mu_t = \int_E L_t f\,d\mu_t. d t d ∫ E f d μ t = ∫ E L t f d μ t .
这是前向方程的一种形式,不要求概率密度存在。以 L t ∗ L_t^* L t ∗ 表示相应的、作用于测度的伴随算子,便得到 ∂ t μ t = L t ∗ μ t \partial_t\mu_t=L_t^*\mu_t ∂ t μ t = L t ∗ μ t 。另一方面,对于固定的终止时刻 T T T ,
u ( s , x ) = E [ f ( X T ) ∣ X s = x ] u(s,x)=\mathbb E[f(X_T)\mid X_s=x] u ( s , x ) = E [ f ( X T ) ∣ X s = x ]
满足 ∂ s u + L s u = 0 \partial_su+L_su=0 ∂ s u + L s u = 0 ,终端条件为 u ( T , x ) = f ( x ) u(T,x)=f(x) u ( T , x ) = f ( x ) 。因此,这两个方程描述的是同一种转移机制分别作用于两类不同对象——概率分布与可观测量——时的演化。
连续时间链与概率流 对于有限状态链,设 Q ( t ) = ( q i j ( t ) ) Q(t)=(q_{ij}(t)) Q ( t ) = ( q ij ( t )) 为转移速率矩阵 ,约定 q i j q_{ij} q ij 表示从 i i i 转移到 j j j 的速率。其非对角元均非负,且
q i i ( t ) = − ∑ j ≠ i q i j ( t ) . q_{ii}(t)=-\sum_{j\ne i}q_{ij}(t). q ii ( t ) = − j = i ∑ q ij ( t ) .
当速率满足适当的正则性条件时,
Pr ( X t + h = j ∣ X t = i ) = δ i j + q i j ( t ) h + o ( h ) . \Pr(X_{t+h}=j\mid X_t=i) = \delta_{ij}+q_{ij}(t)h+o(h). Pr ( X t + h = j ∣ X t = i ) = δ ij + q ij ( t ) h + o ( h ) .
对角项表示从某一状态流出的概率,而每个非对角项则表示向另一状态转移的概率。
设 P ( s , t ) P(s,t) P ( s , t ) 为转移矩阵 ,其元素为 p i j ( s , t ) p_{ij}(s,t) p ij ( s , t ) 。前向方程与后向方程分别为
∂ ∂ t P ( s , t ) = P ( s , t ) Q ( t ) , \frac{\partial}{\partial t}P(s,t)=P(s,t)Q(t), ∂ t ∂ P ( s , t ) = P ( s , t ) Q ( t ) ,
∂ ∂ s P ( s , t ) = − Q ( s ) P ( s , t ) , \frac{\partial}{\partial s}P(s,t)=-Q(s)P(s,t), ∂ s ∂ P ( s , t ) = − Q ( s ) P ( s , t ) ,
并满足 P ( s , s ) = I P(s,s)=I P ( s , s ) = I 。按元素写出,前向方程为
∂ p i j ∂ t ( s , t ) = ∑ k p i k ( s , t ) q k j ( t ) . \frac{\partial p_{ij}}{\partial t}(s,t) = \sum_k p_{ik}(s,t)q_{kj}(t). ∂ t ∂ p ij ( s , t ) = k ∑ p ik ( s , t ) q k j ( t ) .
该方程综合了进入或离开终点状态 j j j 的所有途径,刻画其概率收支平衡。后向方程则着眼于从初始状态 i i i 出发的第一次转移。
对于时间齐次的速率,令 P ( t ) = P ( 0 , t ) P(t)=P(0,t) P ( t ) = P ( 0 , t ) 。则
P ′ ( t ) = P ( t ) Q = Q P ( t ) , P ( t ) = e t Q , P'(t)=P(t)Q=QP(t), \qquad P(t)=e^{tQ}, P ′ ( t ) = P ( t ) Q = QP ( t ) , P ( t ) = e tQ ,
其中 e t Q e^{tQ} e tQ 是矩阵指数 。这两个乘积相等,是因为 P ( t ) P(t) P ( t ) 是同一个固定矩阵 Q Q Q 的函数;这并不意味着任意随时间变化的速率矩阵都可交换。
例如,一个两状态链从状态 0 0 0 到状态 1 1 1 的转移速率为 α > 0 \alpha>0 α > 0 ,反向转移速率为 β > 0 \beta>0 β > 0 ,其速率矩阵为
Q = ( − α α β − β ) . Q= \begin{pmatrix} -\alpha&\alpha\\ \beta&-\beta \end{pmatrix}. Q = ( − α β α − β ) .
若从状态 0 0 0 出发,则
p 01 ( t ) = α α + β ( 1 − e − ( α + β ) t ) . p_{01}(t) = \frac{\alpha}{\alpha+\beta} \left(1-e^{-(\alpha+\beta)t}\right). p 01 ( t ) = α + β α ( 1 − e − ( α + β ) t ) .
趋近平衡的特征时间尺度为 1 / ( α + β ) 1/(\alpha+\beta) 1/ ( α + β ) 。
将概率分布写成行向量时,它满足 π ′ ( t ) = π ( t ) Q ( t ) \pi'(t)=\pi(t)Q(t) π ′ ( t ) = π ( t ) Q ( t ) 。若将分布写成列向量,同一方程则变为 π ′ ( t ) = Q ( t ) T π ( t ) \pi'(t)=Q(t)^{\mathsf T}\pi(t) π ′ ( t ) = Q ( t ) T π ( t ) 。许多公式表面上的差异,仅仅源于这一约定的不同。
对于具有可数无穷多个状态的情形,这些方程涉及无穷求和,需要额外的收敛条件与非爆炸条件。出生率为 λ n \lambda_n λ n 、死亡率为 μ n \mu_n μ n 的生灭链满足
p n ′ = λ n − 1 p n − 1 + μ n + 1 p n + 1 − ( λ n + μ n ) p n , p_n' = \lambda_{n-1}p_{n-1} + \mu_{n+1}p_{n+1} - (\lambda_n+\mu_n)p_n, p n ′ = λ n − 1 p n − 1 + μ n + 1 p n + 1 − ( λ n + μ n ) p n ,
其中在边界处应略去不存在的项。这种增益—损失形式通常称为主方程 。与有限状态情形不同,仅凭其形式上的代数运算,无法证明总概率守恒。
扩散过程与福克–普朗克方程 考虑 R d \mathbb R^d R d 中的伊藤型随机微分方程 ,
d X t = b ( t , X t ) d t + σ ( t , X t ) d W t , dX_t=b(t,X_t)\,dt+\sigma(t,X_t)\,dW_t, d X t = b ( t , X t ) d t + σ ( t , X t ) d W t ,
其中,W t W_t W t 是一个 m m m 维维纳过程 。定义局部协方差矩阵
a ( t , x ) = σ ( t , x ) σ ( t , x ) T . a(t,x)=\sigma(t,x)\sigma(t,x)^{\mathsf T}. a ( t , x ) = σ ( t , x ) σ ( t , x ) T .
对于二阶可微的检验函数,生成元为
L t f ( x ) = ∑ i = 1 d b i ( t , x ) ∂ f ∂ x i + 1 2 ∑ i , j = 1 d a i j ( t , x ) ∂ 2 f ∂ x i ∂ x j . L_tf(x) = \sum_{i=1}^d b_i(t,x)\frac{\partial f}{\partial x_i} + \frac12\sum_{i,j=1}^d a_{ij}(t,x) \frac{\partial^2f}{\partial x_i\partial x_j}. L t f ( x ) = i = 1 ∑ d b i ( t , x ) ∂ x i ∂ f + 2 1 i , j = 1 ∑ d a ij ( t , x ) ∂ x i ∂ x j ∂ 2 f .
一阶项描述系统性漂移,二阶项描述随机涨落的累积。系数 1 / 2 1/2 1/2 来自伊藤公式中的二阶项。
若该过程的概率分布相对于勒贝格测度具有足够正则的概率密度函数 ρ ( t , x ) \rho(t,x) ρ ( t , x ) ,则其前向方程为
∂ ρ ∂ t = − ∑ i ∂ ∂ x i ( b i ρ ) + 1 2 ∑ i , j ∂ 2 ∂ x i ∂ x j ( a i j ρ ) . \frac{\partial\rho}{\partial t} = -\sum_i\frac{\partial}{\partial x_i}(b_i\rho) + \frac12\sum_{i,j} \frac{\partial^2}{\partial x_i\partial x_j}(a_{ij}\rho). ∂ t ∂ ρ = − i ∑ ∂ x i ∂ ( b i ρ ) + 2 1 i , j ∑ ∂ x i ∂ x j ∂ 2 ( a ij ρ ) .
这就是福克–普朗克方程 。对于转移密度 p ( s , x ; t , y ) p(s,x;t,y) p ( s , x ; t , y ) ,前向方程中的导数作用于终点变量 t , y t,y t , y :
∂ t p = L t , y ∗ p . \partial_t p=L_{t,y}^*p. ∂ t p = L t , y ∗ p .
后向方程则作用于起点变量:
∂ s p + L s , x p = 0. \partial_s p+L_{s,x}p=0. ∂ s p + L s , x p = 0.
当系数随空间位置变化时,一般不能仅将生成元中的 f f f 替换为 ρ \rho ρ 来得到前向算子,因为求导也会作用于系数。
对于标准布朗运动,b = 0 b=0 b = 0 ,a = I a=I a = I 。前向方程化为热方程 ,
∂ t ρ = 1 2 Δ ρ , \partial_t\rho=\frac12\Delta\rho, ∂ t ρ = 2 1 Δ ρ ,
其中,Δ \Delta Δ 是拉普拉斯算子 。其转移密度为
p ( s , x ; t , y ) = 1 [ 2 π ( t − s ) ] d / 2 exp ( − ∣ y − x ∣ 2 2 ( t − s ) ) . p(s,x;t,y) = \frac{1}{[2\pi(t-s)]^{d/2}} \exp\left(-\frac{|y-x|^2}{2(t-s)}\right). p ( s , x ; t , y ) = [ 2 π ( t − s ) ] d /2 1 exp ( − 2 ( t − s ) ∣ y − x ∣ 2 ) .
在 t = s t=s t = s 时,初始条件是集中在 x x x 处的点质量,而不是普通的密度函数。当 t ↓ s t\downarrow s t ↓ s 时,该密度弱收敛于这个点质量。
一个实用的非平凡例子是奥恩斯坦–乌伦贝克过程 ,
d X t = − θ X t d t + σ d W t , θ > 0. dX_t=-\theta X_t\,dt+\sigma\,dW_t, \qquad \theta>0. d X t = − θ X t d t + σ d W t , θ > 0.
给定 X 0 = x X_0=x X 0 = x ,其均值为 x e − θ t xe^{-\theta t} x e − θ t ,方差为
σ 2 2 θ ( 1 − e − 2 θ t ) . \frac{\sigma^2}{2\theta}(1-e^{-2\theta t}). 2 θ σ 2 ( 1 − e − 2 θ t ) .
其前向方程为
∂ t ρ = θ ∂ x ( x ρ ) + σ 2 2 ∂ x x ρ , \partial_t\rho = \theta\,\partial_x(x\rho) + \frac{\sigma^2}{2}\partial_{xx}\rho, ∂ t ρ = θ ∂ x ( x ρ ) + 2 σ 2 ∂ xx ρ ,
它同时体现了向原点集中的趋势,以及使集中分布向外弥散的扩散作用。极限密度为正态分布密度,方差为 σ 2 / ( 2 θ ) \sigma^2/(2\theta) σ 2 / ( 2 θ ) 。
伴随性、概率流与边界 这两类方程之间的关系体现了一种对偶性。对于分布 μ \mu μ 和可观测量 f f f ,有
∫ E f d ( U ( s , t ) ∗ μ ) = ∫ E U ( s , t ) f d μ . \int_E f\,d(U(s,t)^*\mu) = \int_E U(s,t)f\,d\mu. ∫ E f d ( U ( s , t ) ∗ μ ) = ∫ E U ( s , t ) f d μ .
左端先使分布演化,再求可观测量的平均值;右端先计算可观测量在未来的期望值,再对初始分布取平均。两者相等是条件期望的性质所致。
对于微分算子,伴随公式可由分部积分法 得到。在区域 D D D 上,
∫ D ρ L f d x = ∫ D f L ∗ ρ d x + boundary terms . \int_D \rho Lf\,dx = \int_D fL^*\rho\,dx + \text{boundary terms}. ∫ D ρ L f d x = ∫ D f L ∗ ρ d x + boundary terms .
仅凭 L ∗ L^* L ∗ 的微分表达式并不能确定演化。算子的定义域,包括其边界条件,同样重要。两个过程可能在内部具有相同的漂移系数和扩散系数,却在到达边界时表现不同。
前向扩散方程可以写成守恒律的形式:
∂ t ρ + ∇ ⋅ J = 0 , \partial_t\rho+\nabla\cdot J=0, ∂ t ρ + ∇ ⋅ J = 0 ,
其中概率流为
J i = b i ρ − 1 2 ∑ j ∂ x j ( a i j ρ ) . J_i = b_i\rho - \frac12\sum_j\partial_{x_j}(a_{ij}\rho). J i = b i ρ − 2 1 j ∑ ∂ x j ( a ij ρ ) .
由散度定理 可得
d d t ∫ D ρ d x = − ∫ ∂ D J ⋅ n d S , \frac{d}{dt}\int_D\rho\,dx = -\int_{\partial D}J\cdot n\,dS, d t d ∫ D ρ d x = − ∫ ∂ D J ⋅ n d S ,
其中 n n n 为外法向量。因此,D D D 内总概率的变化由穿过其边界的通量决定。
对于光滑有界区域内的反射布朗运动,后向算子满足诺伊曼条件 ∂ n f = 0 \partial_n f=0 ∂ n f = 0 ;相应前向密度的法向概率流为零。更一般的反射扩散过程需要采用与指定反射方向相适应的边界条件。不能直接将各向同性布朗运动所用的那一对边界条件套用于任意各向异性扩散过程。
对于离开 D D D 时即被杀死的过程,其杀死过程的后向半群满足齐次狄利克雷边界条件。在标准的正则性和非退化性假设下,其内部前向密度在吸收边界上也为零,且随着概率因吸收而流失,该密度的积分不断减小。如果过程改为停留在吸收边界状态上,则其完整分布仍是概率测度,但可能在边界上产生奇异质量。此时,仅用内部密度只能表示完整分布的一部分。
只有当状态空间确实没有边界,或函数空间中已包含适当的无穷远处行为要求时,才无需另行指定边界条件。在无界区域上,衰减性、可积性和非爆炸性假设可以起到提供边界信息的作用。只有在相关边界贡献为零或被明确计入时,前向解与后向解之间的配对关系才仍然成立。
存在性、唯一性与爆炸 写出生成元,并不意味着就能得到唯一的马尔可夫过程,或其柯尔莫哥洛夫方程的唯一解。必须区分三个问题:随机过程是否存在,其概率律是否唯一,以及微分方程在指定的解类中是否有唯一解。这些问题之间的联系十分有力,但取决于对系数的假设、算子的定义域以及“解”的具体含义。
对于有限状态链,如果随时间变化的转移率有界且足够正则,标准的线性常微分方程 理论就能给出唯一的转移矩阵。其元素的非负性和各行元素之和的保持性可由转移率矩阵的结构推出。当状态有无穷多个时,转移率可能增长得如此之快,以至于在有限时间内发生无穷多次跳跃。
一个标准例子是具有正转移率 λ n \lambda_n λ n 的纯生链。它的各次停留时间是相互独立的指数随机变量,均值为 1 / λ n 1/\lambda_n 1/ λ n 。如果
∑ n = 0 ∞ 1 λ n < ∞ , \sum_{n=0}^{\infty}\frac{1}{\lambda_n}<\infty, n = 0 ∑ ∞ λ n 1 < ∞ ,
那么该链几乎必然会在有限时间内发生无穷多次跳跃。例如,λ n = ( n + 1 ) 2 \lambda_n=(n+1)^2 λ n = ( n + 1 ) 2 就会导致爆炸。爆炸发生后,最小转移概率律在原状态空间上会损失概率质量。转移率矩阵形式上的行和恒等式并不能阻止这种损失,因为未经论证,不能交换无穷求和与微分的次序。
对于 R d \mathbb R^d R d 上的随机微分方程,系数关于状态变量的全局利普希茨连续性 ,加上适当的线性增长界,构成了保证存在唯一非爆炸强解的一组标准充分条件。这些条件并非必要条件。局部条件结合适当的李雅普诺夫函数往往就已足够,而超线性的向外漂移则可能导致爆炸。
扩散方程经典解所要求的正则性,比相应随机过程存在所需的正则性更强。对于系数光滑且满足一致椭圆性条件的情形,光滑转移密度已有完善的理论。若漂移方向和扩散方向满足适当的李括号条件,退化扩散也可能具有光滑密度;而另一些退化过程的概率律则是奇异的,不具有全维密度。
前向方程的弱解 通过检验函数表述:
∫ f d μ t − ∫ f d μ 0 = ∫ 0 t ∫ L s f d μ s d s . \int f\,d\mu_t-\int f\,d\mu_0 = \int_0^t\int L_sf\,d\mu_s\,ds. ∫ f d μ t − ∫ f d μ 0 = ∫ 0 t ∫ L s f d μ s d s .
这种表述容许初始分布为点质量,也适用于不具有光滑密度的分布。
鞅问题 进一步搭建了算子与过程之间的桥梁。它要求,对于适当的 f f f ,
f ( X t ) − f ( X 0 ) − ∫ 0 t L s f ( X s ) d s f(X_t)-f(X_0)-\int_0^tL_sf(X_s)\,ds f ( X t ) − f ( X 0 ) − ∫ 0 t L s f ( X s ) d s
是一个鞅 。这一问题的适定性确定了与算子对应的随机过程的概率律。当系数过于不规则,难以直接采用经典偏微分方程方法处理时,鞅问题尤其有用。
可观测量与停时问题的后向方程 当所求的量是初始状态的函数,而非完整的概率分布时,后向方程尤其有效。对于终端收益 g g g ,
u ( t , x ) = E t , x [ g ( X T ) ] u(t,x)=\mathbb E_{t,x}[g(X_T)] u ( t , x ) = E t , x [ g ( X T )]
满足
∂ t u + L t u = 0 , u ( T , x ) = g ( x ) . \partial_tu+L_tu=0, \qquad u(T,x)=g(x). ∂ t u + L t u = 0 , u ( T , x ) = g ( x ) .
虽然称为“后向”方程,它并不是将一条已经实现的随机轨迹作不稳定的逆向回溯。它计算的是终端收益的期望如何依赖于当前状态和剩余时间。在时间齐次问题中,将变量改为剩余时间 r = T − t r=T-t r = T − t ,就能把它转化为前向初值方程 ∂ r v = L v \partial_rv=Lv ∂ r v = Lv 。
一个核心工具是 戴金公式 。在适当的可积性条件下,对于合适的停时 τ \tau τ ,该公式给出
E x [ f ( X τ ) ] − f ( x ) = E x [ ∫ 0 τ L f ( X s ) d s ] \mathbb E_x[f(X_\tau)]-f(x) = \mathbb E_x\left[\int_0^\tau Lf(X_s)\,ds\right] E x [ f ( X τ )] − f ( x ) = E x [ ∫ 0 τ L f ( X s ) d s ]
这一恒等式将有关随机路径的问题转化为生成元的边值问题。
例如,设 τ D \tau_D τ D 为首次离开区域 D D D 的时刻,h h h 给定边界上的收益。那么
u ( x ) = E x [ h ( X τ D ) ] u(x)=\mathbb E_x[h(X_{\tau_D})] u ( x ) = E x [ h ( X τ D )]
通常满足
L u = 0 in D , u = h on ∂ D . Lu=0\quad\text{in }D, \qquad u=h\quad\text{on }\partial D. Lu = 0 in D , u = h on ∂ D .
对于布朗运动,这就成为拉普拉斯方程 。因此,调和函数描述了在布朗运动离开区域的位置处取边界值所得到的期望。
期望离开时间
m ( x ) = E x [ τ D ] , m(x)=\mathbb E_x[\tau_D], m ( x ) = E x [ τ D ] ,
满足
L m = − 1 in D , m = 0 on ∂ D , Lm=-1\quad\text{in }D, \qquad m=0\quad\text{on }\partial D, L m = − 1 in D , m = 0 on ∂ D ,
前提是该期望有限,且上述表示成立。对于区间 ( 0 , ℓ ) (0,\ell) ( 0 , ℓ ) 内的标准一维布朗运动,
1 2 m ′ ′ = − 1 , m ( 0 ) = m ( ℓ ) = 0 , \frac12m''=-1, \qquad m(0)=m(\ell)=0, 2 1 m ′′ = − 1 , m ( 0 ) = m ( ℓ ) = 0 ,
因此 m ( x ) = x ( ℓ − x ) m(x)=x(\ell-x) m ( x ) = x ( ℓ − x ) 。在同一区间内,从 ℓ \ell ℓ 而非 0 0 0 处离开的概率为 x / ℓ x/\ell x / ℓ 。
费曼–卡茨公式 将后向方程推广到包含持续成本以及杀死或贴现机制的情形。如果
u ( t , x ) = E t , x [ e − ∫ t T c ( r , X r ) d r g ( X T ) + ∫ t T e − ∫ t s c ( r , X r ) d r r 0 ( s , X s ) d s ] , u(t,x)= \mathbb E_{t,x}\left[ e^{-\int_t^T c(r,X_r)\,dr}g(X_T) + \int_t^T e^{-\int_t^s c(r,X_r)\,dr} r_0(s,X_s)\,ds \right], u ( t , x ) = E t , x [ e − ∫ t T c ( r , X r ) d r g ( X T ) + ∫ t T e − ∫ t s c ( r , X r ) d r r 0 ( s , X s ) d s ] ,
那么,在适当的假设下,
∂ t u + L t u − c u + r 0 = 0 , u ( T , ⋅ ) = g . \partial_tu+L_tu-cu+r_0=0, \qquad u(T,\cdot)=g. ∂ t u + L t u − c u + r 0 = 0 , u ( T , ⋅ ) = g .
系数 c c c 决定存活或贴现的权重,而 r 0 r_0 r 0 是收益的累积速率。对一族受控生成元进行优化,得到的是非线性的哈密顿–雅可比–贝尔曼方程,而不再是线性的柯尔莫哥洛夫方程。
平稳性、细致平衡与时间反演 平稳分布 在转移动力学作用下保持不变。对于时齐马尔可夫链,平稳行向量 π \pi π 满足
π Q = 0 , ∑ i π i = 1. \pi Q=0, \qquad \sum_i\pi_i=1. π Q = 0 , i ∑ π i = 1.
对于具有平稳密度 ρ ∞ \rho_\infty ρ ∞ 的扩散过程,相应条件为
L ∗ ρ ∞ = 0 , ∫ ρ ∞ d x = 1 , L^*\rho_\infty=0, \qquad \int\rho_\infty\,dx=1, L ∗ ρ ∞ = 0 , ∫ ρ ∞ d x = 1 ,
并且还须满足适当的边界条件。这些方程给出了候选的平衡分布,但仅凭它们并不能证明过程会收敛到平衡态。平稳分布是否唯一存在,以及其他初始分布是否会趋于该平稳分布,取决于不可约性、常返性和混合性质。
一个更强的条件是细致平衡 。对于马尔可夫链,这一条件要求每一对状态都满足
π i q i j = π j q j i \pi_iq_{ij}=\pi_jq_{ji} π i q ij = π j q j i
即每一股平稳概率流都由其反向概率流抵消。对上述关系中的一个指标求和,即可得到平稳性条件,但仅有平稳性并不意味着细致平衡。有向环上可以存在非零的平稳环流,同时保持其分布不变。
对于扩散过程,在标准假设下,平稳概率流为零就是细致平衡的常见对应形式。考虑
d X t = − ∇ V ( X t ) d t + 2 D d W t , D > 0. dX_t=-\nabla V(X_t)\,dt+\sqrt{2D}\,dW_t, \qquad D>0. d X t = − ∇ V ( X t ) d t + 2 D d W t , D > 0.
若
Z = ∫ R d e − V ( x ) / D d x < ∞ , Z=\int_{\mathbb R^d}e^{-V(x)/D}\,dx<\infty, Z = ∫ R d e − V ( x ) / D d x < ∞ ,
则
ρ ∞ ( x ) = Z − 1 e − V ( x ) / D \rho_\infty(x)=Z^{-1}e^{-V(x)/D} ρ ∞ ( x ) = Z − 1 e − V ( x ) / D
对应的概率流为零。这将前向方程与平衡统计力学联系起来。相反,非零且散度为零的平稳概率流描述的是不满足细致平衡的平稳系统。
必须区分柯尔莫哥洛夫后向方程与沿时间反向观察一个过程时所得到的动力学。对于平稳概率均为正的平稳马尔可夫链,时间反演过程的生成元具有如下非对角转移速率:
q i j r e v = π j q j i π i . q^{\mathrm{rev}}_{ij} = \frac{\pi_jq_{ji}}{\pi_i}. q ij rev = π i π j q j i .
反演后的马尔可夫链与原链具有相同的生成元,当且仅当细致平衡成立。
对于具有光滑正密度 ρ ( t , x ) \rho(t,x) ρ ( t , x ) 的扩散过程,定义 Y s = X T − s Y_s=X_{T-s} Y s = X T − s 。在适当的正则性假设下,其时间反演过程的漂移为
b i r e v ( s , x ) = − b i ( T − s , x ) + 1 ρ ( T − s , x ) ∑ j ∂ x j ( a i j ( T − s , x ) ρ ( T − s , x ) ) , b_i^{\mathrm{rev}}(s,x) = -b_i(T-s,x) + \frac{1}{\rho(T-s,x)} \sum_j \partial_{x_j} \left(a_{ij}(T-s,x)\rho(T-s,x)\right), b i rev ( s , x ) = − b i ( T − s , x ) + ρ ( T − s , x ) 1 j ∑ ∂ x j ( a ij ( T − s , x ) ρ ( T − s , x ) ) ,
反演后的局部协方差为 a ( T − s , x ) a(T-s,x) a ( T − s , x ) 。当 a a a 不随空间位置变化时,修正项涉及 a ∇ log ρ a\nabla\log\rho a ∇ log ρ 。
这一依赖密度的修正项表明,对随机过程进行时间反演,并不只是将其漂移取负。相比之下,柯尔莫哥洛夫后向方程仍然使用原来的生成元:“后向”指的是起始时间变量,而不是另一个物理过程。
数值求解与结构保持 对于有限状态链,当状态空间规模不大时,直接计算 e t Q e^{tQ} e tQ 是一种有效的方法。大型模型通常利用稀疏矩阵 表示,计算矩阵指数作用于向量的结果,而不构造完整的转移矩阵。这种做法可以显著减少存储需求和计算量。
对于齐次有限状态链,均匀化方法 是一种保持概率的方法。选取
λ ≥ max i ( − q i i ) , R = I + Q λ . \lambda\geq\max_i(-q_{ii}), \qquad R=I+\frac{Q}{\lambda}. λ ≥ i max ( − q ii ) , R = I + λ Q .
则 R R R 是离散时间转移矩阵,且
e t Q = e − λ t ∑ n = 0 ∞ ( λ t ) n n ! R n . e^{tQ} = e^{-\lambda t} \sum_{n=0}^{\infty} \frac{(\lambda t)^n}{n!}R^n. e tQ = e − λ t n = 0 ∑ ∞ n ! ( λ t ) n R n .
潜在更新的次数服从均值为 λ t \lambda t λ t 的泊松分布 ,其中某些更新不会改变状态。截断该级数后,可以根据被舍去的泊松分布尾部概率得到显式误差界。对于无限状态空间,若离开各状态的速率无界,则可能不存在一个适用于所有状态的有限均匀化速率。
扩散方程可采用有限差分法 、有限体积法、有限元法 和谱近似方法求解。只要模型满足质量守恒,前向求解器就应保持非负性和总概率。某种格式即使在常规范数下具有较高精度,如果其离散算子不保持生成元结构,仍可能产生负的密度值。
有限体积法通过近似穿过网格单元面的概率通量,明确体现守恒性。对漂移项采用迎风处理有助于保持正性,但会引入数值扩散。对于光滑解,中心近似可能更精确,但在漂移占主导的情形下可能产生振荡。显式时间推进通常要求严格限制步长;隐式方法能更有效地处理刚性问题,但需要求解线性方程组。
前向与后向之间的对偶性也为离散化提供了一项设计原则。如果离散后向生成元作用于可观测量,那么在计入相应网格权重或求积权重后,其转置就应当用于推进离散概率质量的演化。这样,期望收益与演化后的分布之间的离散恒等关系便能严格成立。在非均匀网格上,必须注意区分单元概率质量向量与密度值向量。
在高维情形下,确定性网格方法会遭遇维数灾难 。蒙特卡洛方法 则通过模拟路径来估计后向期望;当方差有限时,通常的采样误差随独立样本数的平方根的倒数而减小。模拟不仅会引入采样误差,还会引入时间离散化误差。即使生成单条路径的成本很低,估计稀有转移的概率或完整的高维密度仍可能十分困难。
历史发展与科学应用 现代一般理论与安德雷·柯尔莫哥洛夫 密切相关。他在1931年的论文《论概率论中的解析方法》(Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung )中,发展了研究马尔可夫转移函数的解析方法,将前向与后向微分方程纳入统一的概率论框架。这项工作早于他在1933年提出的概率论公理化体系,探讨了局部转移行为与整体演化之间的关系。
在此之前,物理学中已经出现了一些重要的扩散方程。阿尔伯特·爱因斯坦在1905年对布朗运动的分析中,将分子的随机运动与扩散联系起来;马里安·斯莫卢霍夫斯基也提出了相关的动力学描述。阿德里安·福克和马克斯·普朗克分别于1914年和1917年,在特定的物理背景下得到了演化方程。这些不同的发展脉络解释了术语之间的重叠:“福克–普朗克方程”强调扩散过程概率密度的前向演化,而“柯尔莫哥洛夫方程”则将前向与后向方程置于一般马尔可夫过程理论之中。
此后,随机积分、半群、边界分类和鞅问题方面的研究,澄清了形式上的微分算子在何种条件下能够确定实际的随机动力学。伊藤随机微积分提供了从随机微分方程推导生成元的系统方法。算子方法将这些概率论构造与泛函分析 联系起来,而弱形式则使这些方程的适用范围超越了光滑密度和经典解。
在应用中,往往可以根据哪一种演化方向更便于计算,自然地作出区分。在化学反应网络中,状态记录各类分子的数量,前向化学主方程则追踪这些数量的分布。具有给定反应倾向的反应,会将概率从一个分子计数向量转移到另一个分子计数向量。当适当的尺度变换和截断具有合理依据时,扩散近似会用二阶微分算子替代跳跃生成元。
在人口与种群模型中,前向方程描述种群规模、等位基因频率或灭绝状态的分布。对于固定概率和预期灭绝时间,后向方程通常更为简便,因为它们直接求解以初始种群状态为自变量的目标量。在排队模型中,同样的区分体现为:前向方程用于求瞬态队长分布,后向方程用于等待时间和首达时间的计算。
在数理金融中,定价所涉及的期望会导出带有贴现项的后向方程。对于风险中性模型下的几何布朗运动价格过程,其生成元包含漂移项 r x ∂ x rx\partial_x r x ∂ x 和扩散项 1 2 σ 2 x 2 ∂ x x \tfrac12\sigma^2x^2\partial_{xx} 2 1 σ 2 x 2 ∂ xx ;加入贴现项便得到布莱克–斯科尔斯定价方程。相比之下,前向方程用于推进模型中价格分布的演化。
这种区分也出现在当代基于扩散的生成建模中。预先设定的加噪过程通过前向福克–普朗克方程,使数据分布随时间演化。通过反向扩散生成样本,需要反向漂移项和密度的得分项,而不是简单地求解后向柯尔莫哥洛夫方程。尽管相关术语有所关联,分布的演化、可观测量的演化以及随机过程的时间反演,在数学上仍是不同的运算。