自由能原理是一个理论框架,主张某些自我维持系统的组织方式与活动可以用一种称为变分自由能的量的最小化来描述。这一框架主要由卡尔·弗里斯顿提出,将神经科学、统计学和统计力学中的思想联系起来。在其最广为人知的应用中,大脑不断更新关于感觉输入成因的内部模型,而行动则改变大脑接收到的输入。因此,感知与行动被视为推断过程中相互补充的两个方面。
这一原理的内涵不止于“大脑会预测感觉输入”这一主张。它试图解释:尽管生物体持续与周围环境进行交换,却仍能维持其特有的组织模式。该原理的核心数学量,是从信息论角度对某一模型下观测结果的不可能程度所给出的界,通常并不是一种可直接测量的物理能量储量。这一变分量与热力学自由能之间的关系十分重要,但需要额外的假设才能建立。
这一框架涵盖了几类可以区分的主张:关于概率分布的数学恒等式、对持续存在的随机系统所提出的描述、神经信息处理模型,以及用于适应性行为的实用算法。这些组成部分得到的证据支持程度各不相同。作为基础的变分恒等式属于已确立的数学知识;至于特定生物系统是否实现了所提出的机制,以及其物理解释具有多大的适用范围,仍是研究和争论的议题。
起源与思想发展
自由能原理源于对大脑中统计推断过程的研究,而非某一项实验发现。一个重要的先驱思想,是赫尔曼·冯·亥姆霍兹在十九世纪提出的感知观:感知是一种无意识推断,感觉体验依赖于根据以往经验来解释含糊不明的信号。例如,仅凭视网膜上的图像,无法唯一确定形成该图像的物体、光照和距离。推断理论将感知解释为选择合理成因的过程,而不是对刺激的被动记录。
在二十世纪,这一观点逐渐与贝叶斯推断相联系。在贝叶斯推断中,先验预期与新获得的证据共同决定对隐含成因的信念。信息论、统计学习和神经网络研究提供了数学工具,使这类解释得以明确表述。杰弗里·辛顿与理查德·泽梅尔于1994年开展的最小描述长度学习研究,将变分自由能目标用于表征学习。彼得·达扬、辛顿、拉德福德·尼尔和泽梅尔于1995年介绍的亥姆霍兹机,同样将生成模型与近似推断联系起来。这些进展是后来范围更广的生物学原理的先声,但尚未构成该原理后来的表述形式。
另一条重要的思想脉络是预测编码。在1999年一个广受讨论的模型中,拉杰什·拉奥和达娜·巴拉德展示了分层预测与误差校正如何解释视觉皮层反应的某些方面。弗里斯顿在2005年的论文《皮层反应理论》中,利用分层经验贝叶斯模型发展了相关思想。他在2006年的论文《大脑的自由能原理》以及随后的2010年综述《自由能原理:一种统一的大脑理论?》中,将这一框架提出为统一解释大脑功能的候选理论。
此后,这一框架的适用范围扩展到了感觉推断之外。主动推断将行动选择和身体调节视为同一推断架构的组成部分。后续研究更加重视随机动力学、统计边界,以及在何种条件下可以将一个系统描述为维持着其环境模型的系统。这一扩展把神经理论与有关生物体个体性及生物组织持续存在的问题联系起来。
由此形成的文献并不围绕某个单一、固定的模型展开。有些研究分析抽象的动力系统;有些则构建关于眼动、学习或决策的详细模型;还有一些探讨其在表征、能动性和生物目的性等方面的哲学意涵。这些研究项目之间虽有历史上的承继关系,却不意味着它们的主张可以相互替代:成功地模拟某项感知任务,本身并不足以确立一条有关生命组织的普遍原理。
变分自由能与贝叶斯推断
其核心数学构造从观测 、隐状态 和生成模型 出发。该模型规定了隐状态与观测之间的概率关系。它的边际似然,也称模型证据,为
当隐状态数量众多或以非线性方式相互作用时,计算这一量及相应的后验分布 可能很困难。变分推断通过引入一个便于处理的分布 来近似后验分布,从而应对这一困难。这里的“信念”指概率分布或其参数,不一定意味着有意识的判断。
变分自由能定义为
利用贝叶斯定理,可以将其改写为
其中,KL散度用于度量分布之间的差异,其值非负。因此,
量 称为惊奇度或自信息。对于固定的模型和观测,通过调整 来最小化 ,会减小近似后验分布与精确后验分布之间的散度。当两个分布完全一致时,上述不等式取等号。
另一种分解形式阐明了其中的权衡:
准确性项奖励那些使观测更有可能出现的解释。复杂性项则惩罚对先验信念的偏离。这并不意味着复杂的生物体或丰富的表征本身就不受青睐,而是说,信念的改变必须通过提高解释的准确性,来抵偿其统计代价。在机器学习中,变分自由能的负值通常称为证据下界,简称 ELBO。
有几点限定需要特别说明。首先,通过改变 来降低自由能,并不一定会改变观测的概率:在模型固定的情况下,这只是改善了对既有后验分布的近似。模型参数的学习是另一项独立的优化。其次,最终结果取决于所允许的近似分布族以及优化方法。局部极小值、限制过强的近似和有限的计算资源,都可能使精确推断无法实现。
最后,这里的“惊奇”是一个技术概念,并不一定指主观上的惊讶感。在不合适的模型下,普通事件也可能具有很高的惊奇度;而一个让人在主观上大吃一惊的事件,在另一个模型下却可能被赋予相当高的概率。对于连续观测,概率密度还取决于测量所用的坐标和参考测度。因此,关于最小化惊奇度的论述,需要以明确的概率设定为前提,而不能对任意信号进行不受限制的比较。
生成模型、知觉与神经实现
生成模型规定了观测结果可能如何由未被观测到的原因产生。在视觉中,隐变量可能包括物体的位置、表面属性和光照条件。在身体调节中,隐变量可能包括血液的化学成分、组织状态,或内脏感觉的成因。层级模型将变量置于多个层次:高层可能描述较为抽象或变化缓慢的原因,而低层则描述更直接的感官结果。
在常见假设下,这种层级结构中的变分推断可以通过减小预测误差来实现。高层对低层活动作出预测;预测活动与实际观测活动之间的差异,促使系统修正推断出的原因。当误差近似服从高斯分布时,目标函数的一部分具有如下形式:
其中, 是预测误差向量, 是精度矩阵,即协方差矩阵的逆矩阵。其余项包括不确定性和归一化所带来的贡献。这一表达式解释了为什么自由能最小化可能类似于加权误差校正,却又不等同于将原始感官失配最小化。
精度尤为重要。与可靠信号相关的误差,应当比与噪声信号相关的同等大小误差产生更大的影响。因此,在知觉模型中,精度可以调节感官证据与先验预期的相对影响。一些神经机制解释将这种调节与神经元增益、注意或神经调质信号传递的变化联系起来。这些只是可能的实现方式,并非仅凭变分恒等式就必然得出的结论。
预测编码模型通常赋予传递预测和传递预测误差的神经元群体不同的功能角色。所提出的皮层实现方案涉及双向连接,其中上行信号传递误差,下行信号传递预测。真实的皮层解剖结构包含回返连接、侧向连接、抑制性相互作用以及丘脑参与的相互作用,因此难以建立简单的对应关系。所以,要将记录到的某个神经元认定为“预测误差神经元”,不能仅凭其反应在刺激变得可预期时发生变化这一观察,还需要更多证据。
知觉、学习和不确定性估计可以在不同时间尺度上进行。神经活动的快速变化可能更新对状态的估计;突触效能的较慢变化可能改变模型参数;更缓慢的过程则可能修改模型结构。这为生物学上各不相同的过程提供了一套共同的数学表述。
预测编码并不等同于自由能原理。预测编码是一类关于信息传递机制的理论方案,而自由能原理则是对适应性系统组织方式提出的更广泛主张。变分推断可以使用预测编码之外的算法;对预测编码架构的研究,也不必以接受自由能原理更广泛的生物学解释为前提。在评估神经科学证据时,必须区分这些层面。
行动:对感觉后果的控制
在主动推断中,行动通过改变智能体接收到的观测来补充知觉。知觉调整信念,以解释感觉输入;行动则改变智能体与环境之间的关系,使后续输入更符合其模型。在连续运动控制的表述中,这种关系尤为清晰:对身体状态的预测可以通过外周及脊髓控制机制来引导运动。
假设一个生物体预测了某种特定的关节构型,而其实际的本体感觉输入最初与这一预测不同。缩小这一差异的一种方法是修正所预测的构型;另一种方法则是移动肢体,直到感觉输入接近预测状态。在简化的数学模型中,行动 可以通过其对观测的影响,沿自由能的梯度变化:
其中, 指定行动的更新速率或度量。这一表达式是一种建模选择,其在生物学上是否恰当,取决于模型如何表征运动指令、感觉后果、时延以及身体力学。
这一框架并不要求生物体对每一块肌肉或每一种环境后果都具有明确的符号描述。有些表述利用相对直接的感觉—运动映射,另一些则使用习得的转移模型来预测更长的序列。反射通路、生物力学以及环境约束都可以参与实现由此产生的行为。不过,能够生成恰当运动轨迹的模型,仍不同于经过实证验证的生理机制解释。
这一框架与控制理论有着实质性的联系。传统控制器将测得的状态与目标进行比较,并利用反馈来减小偏差。主动推断模型以概率方式表达相关操作,使状态和目标的不确定性能够影响行为。在特定假设下,这些模型的方程与熟悉的控制器方程相似。这样的等价关系揭示了它们共有的结构,而非表明所有控制理论在一切相关方面都只是主动推断的特例。
一个经常被提出的质疑是“暗室问题”:如果生物体要使感觉惊异最小化,为什么它们不一直待在一成不变、缺乏刺激的环境中?通常的回答是,惊异是相对于某个模型来评估的,而这个模型包含了对身体生存条件和日常活动的预期。饥饿、口渴、不断变化的身体信号以及习得的预期,都可能使长时间不活动与该模型高度不符。在涵盖较长时间过程的模型中,寻求信息也可能使探索优于被动地维持可预测状态。
这一回答使模型的具体设定承担了重要的解释任务。一个理论不能仅仅在事后为生物体赋予某些恰好能复现其行为的预期,就声称解释了该行为。有用的行动模型必须对生理需求、感觉映射、学习经历和不确定性施加独立约束,然后预测这些条件受到操纵时行为会如何变化。
期望自由能与策略选择
对于涉及未来结果的决策,主动推断模型通常会评估策略:即可能的行动序列或条件式行动计划。策略可以规定接下来看哪里、走哪条路线,或者是否在作出最终选择前,先尝试一个尚不确定的选项。由于未来的观测尚不可得,策略评估不能像处理当前已观测到的结果那样,直接最小化变分自由能,而是要利用对未来状态和观测的预测。
一种常见的目标函数是期望自由能,对于策略 ,通常记为 。其具体表达式取决于模型,以及引入偏好结果的方式。在一种广泛使用的分解中,它将与偏好有关的项和信息增益项结合起来:
这里, 表示预测信念,而 为偏好的结果赋予更高的概率。对于定义恰当、预测分布与条件分布相互一致的目标函数,这一分解是精确的;其他表述则通过额外的近似得到相关表达式。将所有期望自由能方程都视为可以互换,可能会掩盖其假设上的差异。
第一项倾向于符合偏好的结果。第二项则倾向于那些预计能增进对隐藏状态的了解的观测。这种寻求知识的作用通常称为认知价值。例如,在迷宫中,前往一个能够揭示哪条路线有食物的位置,起初可能很有用,即使该位置本身并不提供食物。一旦相关的不确定性得到消除,反复采样同一线索就应当不再具有认知价值。
一些模型将信息增益的范围从隐藏状态扩展到不确定的模型参数。这就区分了两类学习:一类是了解物体在哪里,另一类是了解某条线索有多可靠,或环境如何变化。后一类学习可以支持收益跨越多个回合才显现的探索。这些区分很重要,因为减少不确定性并不对应某一种普遍适用的行为表现。
模型通常使用类似 softmax 的规则为策略分配概率:
其中, 编码先验的策略倾向, 则控制对期望自由能差异的敏感程度。实际模型还可能纳入已获得的观测所提供的证据。因此,习惯、审慎思考和信心可以通过不同的组成部分进入模型,而不必由单一的奖励信号来表示。
这些模型与强化学习、贝叶斯实验设计和最优控制存在交集,但其目标函数未必相同。它们的一个独特侧重点,是将偏好的结果与信息获取放在一起处理。这并不意味着探索会自动发生,或总是具有适应性:探索的质量取决于模型的准确性、规划时域、可采取的行动,以及对不确定性的表征方式。
马尔可夫毯与系统的边界
将自由能原理推广到大脑之外,在很大程度上依赖于马尔可夫毯这一概念。在概率描述中,马尔可夫毯是一组变量,以这组变量为条件时,一组变量与另一组变量相互独立。如果内部状态为 ,外部状态为 ,毯状态为 ,则其定义关系为
在给定的概率分布中,已知毯变量后,内部变量与外部变量便条件独立。这是一项统计陈述,本身并不意味着存在实体膜、因果自主性或具有意识的个体性。
在常见的自由能表述中,毯状态被划分为感觉状态和主动状态。感觉状态介导外部状态对内部状态的影响,而主动状态则介导系统对周围环境的影响。某些具体的动力学表述会对各状态的导数可以直接依赖哪些其他变量施加限制。这些动力学限制必须与概率分布中的条件独立性区分开来:没有适当的假设,不能由其中一者确立另一者。
细胞膜提供了一个直观的生物学例子,因为受体和转运过程介导着细胞与环境之间的相互作用。然而,从技术意义上说,细胞膜并不天然就是马尔可夫毯。它是否适合被视为马尔可夫毯,取决于所选的变量、时间分辨率,以及对未观测到的影响因素的处理方式。同样,仅凭皮肤也无法为生物体的所有模型提供一个充分且通用的统计边界。
推断层面的解释还需要更进一步。内部状态可以参数化一个关于外部状态的分布,因此,内部状态的变化可以被描述为关于环境的信念发生了变化。要确立这种对应关系,就需要建立物理状态与统计参数之间的映射。仅仅找到一种条件独立关系,并不足以据此断定系统在实质性的认知意义上进行了贝叶斯推断。
嵌套的边界促使这一概念被用于多个尺度:组织中的细胞、生物体中的组织,以及社会群体中的生物体。不过,在一个尺度上成功描述了边界,并不保证在另一个尺度上也能得到等价的描述。粗粒化可能抹去相关的依赖关系,引入记忆效应,或改变动力学的形式。
这些区别使马尔可夫毯成为一种有用但要求严格的建模工具。它提供了一种精确的方法,用来探究哪些信息将系统与周围环境联系起来。至于马尔可夫毯是否能识别出生物学上具有特殊地位的个体、是否支持推断层面的解释,或是否能产生对实验有用的模型,则必须针对每项应用分别评估。
随机动力学及其与热力学的关系
生物系统持续处于远离热力学平衡的状态。它们交换物质和能量,消耗资源,并耗散热。自由能原理试图将这种持续存在与系统处于特征状态的概率联系起来。生物体不会均匀地遍历所有物理上可能的构型,而是在一段有限时间内,始终处于一个受限且具有结构的状态范围之中。
一种常见的出发点是随机微分方程:
其中, 是漂移场, 是扩散矩阵, 是维纳过程。在适当条件下,相应的概率密度会趋于平稳分布 。此时,类似势函数的量
便衡量了平稳分布下的惊异度。系统经常处于的状态,其 低于系统很少处于的状态。
平稳并不意味着平衡。非平衡稳态可以在维持不随时间变化的概率密度的同时,存在循环的概率流。因此,其动力学不一定是惊异度上的纯梯度下降。旋转分量(或称螺线分量)可以使系统沿等概率线运动。噪声也会使单条轨迹暂时向概率较低的状态移动。将所有生物活动都归结为某个标量目标的单调下降,会遗漏这些特征。
要将这类动力学与变分推断联系起来,还需要额外的结构:将变量恰当地划分为内部变量、外部变量和毯变量;对依赖关系作出假设;以及建立内部状态与概率分布之间的映射。仅凭平稳密度的存在,并不能证明系统的物理轨迹实现了某种特定的推断算法。此外,并非所有具有生物学意义的过程,都会在发育、损伤、环境变化或死亡过程中保持平稳。
“自由能”一词容易引起混淆。亥姆霍兹自由能和吉布斯自由能是具有能量量纲的热力学状态函数。变分自由能通常是一个信息论量,在使用自然对数时以奈特为单位。在平衡统计力学中,诸如 这样的关系,使负对数概率与物理能量尺度之间能够建立精确的对应关系。离开这一情境,就不能直接假定这种对应关系成立。
自由能原理并不意味着生物体可以不受热力学第二定律的约束。维持局部的有序结构需要与外界进行交换,而这些交换会促成更大系统中的熵产生。最小化变分目标,并不等同于最小化代谢能耗、总熵产生量或任何热力学势。与这些量之间的联系,必须针对明确指定的物理模型加以推导。
稳态、适应与生物组织
这一原理的生物学出发点在于持续存续:尽管受到环境扰动,生物体仍须将重要变量维持在可生存的范围内。稳态涉及对体温、渗透平衡和循环代谢物等变量的调节。这些变量不必始终保持完全恒定;正常功能往往需要有规律的波动,以及随情境而发生的变化。
在推断模型中,偏好或预期的身体状态可以约束知觉与行动。如果模型为生理上可存活的状态赋予较高概率,那么对这些状态的偏离就可能驱动纠正行为。于是,获取水、移向温度适宜的环境,或改变食物摄入量,都可以被建模为恢复预期身体状况的行动。相关预期未必是以语言表述的信念,也可能体现于神经回路、内分泌调节以及外周控制系统的组织方式之中。
异稳态强调预期性调节,而不是仅在扰动发生后才加以纠正。生物体可能在用力活动之前就调整血液循环,或在资源匮乏变得严重之前就开始寻找资源。具有时间深度的生成模型提供了一种将此类预期形式化的方法。这些模型也说明了为什么不应总将某种结果的发生概率与它在生物学上的有利程度等同起来:生物体可以准确预测有害事件,同时采取行动阻止它发生。
在发育与形态发生领域的应用中,同一套概念被进一步用于描述解剖形态的形成与维持。细胞通过化学信号和机械信号相互通信;其行为取决于局部环境和发育历史。一些理论研究将集体模式的形成描述为朝向预期组织构型的推断过程。这类模型可以用来组织有关协调机制的假说,但不能取代涉及基因表达、分子信号传导、机械力和细胞代谢的既有机制。高层次的变分描述必须与这些机制相联系,才能提供生物学解释。
一种演化层面的解释认为,遗传而来的组织结构约束了哪些状态会被预期或偏好。自然选择可以有利于那些使生物体维持在可生存条件下的调控架构。这并不意味着演化确实在优化某个普适的自由能函数,也不意味着生物体的即时目标始终是最大化繁殖成功率。演化变化、个体学习和时刻进行的调节,作用于不同的变量,也发生在不同的时间尺度上。
区分持续存续与适应尤其重要。一个稳定模式即使没有生命、不会学习,也不发挥生物学功能,仍然可以持续存在。反过来,生命系统也可能经历不可逆的转变,而不是返回某个固定的设定点。因此,解释性模型必须明确:究竟是什么在持续存在,持续多长时间,以及在何种干预条件下持续存在。否则,“自我维持”就可能沦为一个事后标签,无论系统碰巧做了什么,都可以用它来概括。
计算应用与实证研究
发展最为成熟的应用是关于感知、行动、学习和决策的计算模型。研究者已构建出用于视觉采样、导航、伸手动作以及部分可观测选择任务的主动推断智能体。在这些模型中,研究者设定隐状态、观测、转移概率、偏好和推断规则,再考察由此产生的行为。这类研究的价值在于明确列出假设,并推导出可与数据进行比较的结果。
离散状态实现通常采用部分可观测马尔可夫决策过程。智能体无法直接观测环境状态,必须根据含噪声的观测加以推断。例如,一条线索可能提示两个地点中哪一个有资源,而某个行动则会改变智能体的位置,或使其获得这条线索。这样的设置可以将对当前状态的不确定性与对行动后果的不确定性区分开来。
连续模型用于感觉运动控制和机器人学。这类模型可以结合对身体位置、视觉输入和环境动态的预测。其实际表现取决于数值稳定性、模型失配、感觉延迟、执行器限制和计算成本。将控制器称为“主动推断”控制器,并不能消除这些工程约束;一次成功的演示也不能证明生物运动系统采用了完全相同的实现方式。
神经科学检验所针对的假说,通常比整个原理的范围更窄。实验可能操纵刺激出现的概率、感觉信息的可靠性、习得的预期,或额外信息的有用程度。相关测量指标包括行为选择、反应时、神经元活动和脑成像结果。预期会改变反应的证据,可以支持预测加工的解释,但仍须评估其他竞争性解释。例如,对重复刺激的反应减弱,既可能反映预测的变化,也可能反映适应。
更有力的检验应能区分作出不同定量预测的模型。实验可以独立于预期结果价值来改变不确定性,再比较信息寻求行为究竟符合预期自由能、强化学习中的探索规则,还是其他决策模型。在估计参数的同时,还应进行参数恢复检验,检查竞争模型能否被区分,并预测未参与拟合的观测数据。否则,表面上的解释灵活性可能只是源于调整先验或精度参数,以拟合每一项结果。
临床应用方面的研究探索了学习、先验信念或精度的改变,是否有助于描述感知和行为上的差异。这些仍是研究模型,而非成熟的诊断工具,也不是普遍适用的临床解释。同样的可观测行为可能由多种计算机制产生,而估计出的参数又取决于具体任务和模型。临床相关性需要通过独立验证来确立,不能仅凭这一框架在数学上的普适性加以推断。
解释范围、批评与开放问题
核心的方法论争议在于,自由能原理提出的究竟是哪一类主张。变分恒等式的各项一经定义,就在数学上成立。对持续存在的随机系统所提出的刻画,则以有关动力学和统计结构的假设为前提。关于大脑皮层回路或行为的假说,则属于经验性主张。这些不同层面的主张不能用同一种方式加以证实或驳斥。混淆这些层面,可能会让数学上的确定性看似为尚未经检验的生物学主张提供了支持。
一种批评认为,这一原理可能过于宽泛。如果只要选择合适的先验、偏好或隐状态,就能解释任何观察到的行为,那么这一框架就有可能只是在重新描述行为,而不是预测行为。对此的回应是,应当依据独立证据约束模型结构,并将具体实现与其他方案进行比较评估。一个框架即使本身不是可直接用于实验检验的单一假说,也可以支持可检验的模型;但在这种情况下,它的科学贡献就在很大程度上取决于这些模型的质量。
第二个问题涉及如何从动力学过渡到推断。研究者考察了所提出的统计划分、条件独立关系和内部状态映射,是否足以支持预期的变分解释。无散流、变量之间的依赖关系,以及物理轨迹与概率分布上的梯度之间的区别,都至关重要。对于特定类别的随机系统所得的结果,不应在未经核查相关条件的情况下推广到任意生物体。
第三个问题涉及表征层面的解释。一种解读认为,内部状态确实编码了关于外部原因的信念。另一种解读则将推断视为一种有用的数学描述,而不认为它必然意味着存在显式的内部表征。这些解释可能导向不同的研究重点:识别神经编码、刻画具身控制回路,或推导系统动力学与统计模型之间的关系。仅凭这些方程,并不能解决心灵哲学中有关意义、能动性或体验的所有问题。
计算可行性是另一个尚待解决的问题。精确的贝叶斯推断和长时域策略评估通常计算成本高昂。生物系统的时间有限,组成部分存在噪声,可用资源也有限。近似分布、受限的策略集合、摊销推断、习惯和分层控制可以降低这些需求,但每种方法都会引入有待研究的假设。一个优雅的全局目标,并不能唯一确定实现它的局部过程。
这一框架还面临模型和边界的选择问题。对同一生物体的不同描述,可能会设定不同的隐状态、感觉接口和时间尺度。对于发育中的系统和相互作用的集体而言,要确定哪些描述保留了因果与预测上的相关性,尤其困难。要取得进展,就需要将形式化假设与可测量的变量联系起来,明确近似方法在何种情况下失效,并找出哪些观测结果能够支持某一种具体实现,而非另一种。