主动推断是一个数学框架,用于解释和设计通过贝叶斯推断进行感知、学习与行动的系统。主动推断智能体维持着一个概率模型,描述观测如何由隐藏的原因产生,并利用这一模型来解读感觉信息和选择行动。行动可以使观测与偏好的状态相符,也可以增进对环境的了解,或同时实现这两个目的。这一框架主要在神经科学领域发展起来,但也为心理学、机器人学和人工智能领域的研究提供了思路。
主动推断的核心主张是,感知与行动可以在同一个推断架构下加以描述。感知改变对观测成因的信念;行动则改变能够获得哪些观测。在当代的许多表述中,可能采取的行动通过一个称为“期望自由能”的目标函数来评估,该函数将对偏好结果的追求与获取信息的机会结合起来。主动推断与自由能原理密切相关,但两者并不等同:自由能原理是对自组织系统更为广泛的理论解释,而主动推断则为感知—行动循环提供具体的模型与算法。
历史发展与概念基础
主动推断植根于将知觉视为推断的悠久传统。19 世纪,赫尔曼·冯·亥姆霍兹用无意识推断来解释知觉:感官刺激无法唯一确定其外部成因,因此知觉依赖于对世界的假设。20 世纪,控制理论、统计估计和认知科学的发展提供了数学工具,用于描述生物体如何在与周围环境互动的同时估计隐藏状态。
另一个影响来源是预测编码。在预测编码中,系统传递的是预测及其偏差,而不是反复传输完整的感官信息描述。在神经科学领域,拉奥和巴拉德于 1999 年提出的模型表明,分层预测与误差校正能够解释视觉皮层反应的某些特性。预测编码并不等同于主动推断。前者是一种用于推断或信息处理的架构,而主动推断还涉及行动的选择,并且在许多表述中也涉及对可能未来的评估。
卡尔·弗里斯顿在 2000 年代研究脑功能与统计推断的过程中,发展了自由能原理。他于 2006 年发表的论文《大脑的自由能原理》和 2010 年发表的综述《自由能原理:统一的脑理论?》,推动了这一更广泛研究纲领的确立。此后,主动推断模型将这一方法拓展至运动、决策、注意和学习。弗里斯顿及其同事于 2015 年发表的论文《主动推断与认知价值》,明确阐述了寻求信息的行动在这一框架中的重要性。
最初的研究动机,是将生物体的持续存续与可能状态上的受限分布联系起来。生物体并不会处于任意的生理状态:其体温、水分水平及其他变量都维持在能够支持机体持续运作的范围内。在这一语境中,“惊异”是指模型所赋予某个观测的概率的负对数,而不是主观上的惊讶体验。生物体的稳态是启发这一思路的重要例子,但要构建可运行的主动推断模型,仍须对观测、隐藏状态、偏好和动力学作出明确假设。
必须区分这一生物学论证与具体计算模型之间的关系。算法可以最小化变分自由能或期望自由能,但这并不能确立自由能原理作为生命普遍解释的地位。反过来,关于生物体持续存续的宽泛论断,也无法唯一确定某种神经回路或行为策略。因此,这一领域的历史发展包含了几个相互关联的研究方向:对自组织的一般性解释、脑功能理论,以及一系列实用的推断与控制方法。
生成模型与变分推断
主动推断智能体的部分特征由其生成模型确定:该模型以概率方式描述隐状态如何产生观测,以及这些状态如何变化。例如,导航机器人可以将位置表示为隐状态,将摄像头测量结果表示为观测,并将移动指令表示为影响位置间状态转移的因素。这里的“生成”是指模型能够为可能的观测赋予概率,并不意味着它必须生成逼真的图像或语言。
对于观测序列 、隐状态序列 和策略 ,一个简单模型可分解为
策略是一种候选行动方案,通常是在有限规划时域内的一系列行动。似然 描述观测如何依赖于状态,而转移模型则描述状态如何演变。更复杂的模型还包括未知参数、多个相互作用的状态因子,或在不同时间尺度上运作的层级。
精确的后验推断在计算上往往难以实现。因此,智能体使用近似分布 ,并通过变分推断对其进行更新。对于给定的观测 ,变分自由能为
它也可以写成
其中, 为KL散度。由于该散度非负, 是惊异度 的上界。对 最小化 ,可使近似后验在所选近似分布族的范围内更接近真实后验。
另一种分解方式是复杂度减去准确度:
准确度项倾向于支持能够解释观测的信念,而复杂度项则惩罚对先验信念的偏离。这里的复杂度是关于分布的量,而不只是参数的数量。这种平衡将主动推断与统计模型证据及正则化联系起来。
变分自由能是一个信息论目标函数。尽管它的名称带有“自由能”,并且在数学上与统计力学存在联系,但它通常并不是以焦耳为单位的吉布斯自由能或亥姆霍兹自由能的度量。其中的对数通常是无量纲的,其数值取决于所采用的概率模型和约定。同样,最小化这一目标函数既不能保证获得正确的世界模型,也不能保证实现全局最优推断:这些取决于模型的具体设定、可用数据以及优化过程。
行动、具身性与连续控制
主动推断将推断更新扩展到智能体与环境之间的物理交互。智能体可以通过修正自身信念来缩小预测信号与观测信号之间的差异,也可以通过行动来改变传入的信号。伸手动作便能说明这一区别:对手部位置的估计可以根据感觉证据加以修正,而运动则可以使手的实际位置趋近于预测位置或期望位置。
在连续状态表述中,身体和环境的隐状态通常用微分方程描述。智能体预测行动的感觉后果,包括视觉信号,以及来自肌肉和关节的本体感觉信号。在高斯假设下,变分自由能的某些部分可表示为加权的预测误差平方。对于感觉预测误差 ,其中 为估计状态, 为观测函数,其对自由能的一项贡献具有如下形式:
此处略去了归一化项及其他模型项。其中, 是精度矩阵,即协方差矩阵的逆矩阵。因此,可靠性更高的感觉通道中的误差具有更大的影响。
行动更新可示意性地写为:
其中, 表示行动变量, 控制更新速度。自由能通过运动的感觉后果而依赖于行动。应用这一规则,需要对行动如何改变感觉作出假设或估计;它并没有免除求解这一物理映射关系的必要性。
一种颇具影响力的运动控制理论认为,下行信号指定的是本体感觉预测,而非详细的肌肉指令。随后,脊髓反射机制通过作用来减小预测与实际本体感觉输入之间的差异。这为人们熟悉的感觉运动反馈回路提出了一种不同的计算解释:运动使关于身体的预测成为现实。这是对运动组织方式的一种理论解释,而不是对所有下行运动信号均已得到证实的描述。
不能简单地把目标导向的预测视为关于当前状态的绝对正确信念。模型必须区分当前状态估计与期望轨迹,并允许有关障碍物或力学限制的证据改变行动。否则,控制器可能会持续尝试无法实现的运动。实际实现通过动力学、不确定性估计、分层建模、显式约束或附加的控制机制来处理这一问题。
连续主动推断尤其常用于伸手、追踪、平衡和机器人操作等具身任务。其行为在很大程度上取决于观测模型以及各类误差的相对权重。可靠的视觉反馈可以纠正不确定的本体感觉估计,而强烈的本体感觉预期则可以稳定姿势。其他估计与控制框架也能描述这些效应,因此,仅凭运动的成功,并不能唯一判定其背后的机制就是主动推断。
期望自由能与不确定性下的规划
仅对当前状态进行推断,不足以在未来后果不同的行动之间作出选择。规划需要预测尚未出现的观测。主动推断模型通常通过期望自由能评估策略,以解决这一问题。这一目标涉及未来状态与结果的预测分布,以及对这些结果的偏好。
一种实用的单时刻表述可以明确呈现其中的信息成分与偏好成分。令
为策略 下的预测联合分布,并令 编码偏好的观测。一种常见的期望自由能目标为
第一项通常称为风险,衡量预测结果与偏好结果之间的差异。第二项是歧义性,即以观测的隐含原因为条件时,观测的期望熵。按照这些定义,该表达式也可等价地写成
其中, 为互信息。因此,最小化 既有利于获得偏好的结果,也有利于获得能提供隐状态信息的观测。更复杂的表述还会纳入有关未知模型参数的信息,以及未来不同时刻之间的依赖关系。
寻求信息的成分通常称为认知价值;与偏好有关的成分则称为实用价值或工具价值。在一项有两个候选位置的搜索任务中,智能体可能先查看一条指示资源所在位置的线索。查看线索本身几乎没有即时价值,却会改变后续哪一种行动更有可能成功。这与无方向的随机行为不同:信息丰富的线索之所以具有吸引力,是因为它可能产生的观测结果有助于区分相互竞争的信念。
策略的概率通常通过如下表达式赋予:
其中, 表示先验的策略倾向, 控制对期望自由能的敏感程度。 越大,概率就越集中于 较低的策略;其值越小,分布就越分散。在具体实现中,还可以纳入已获得的观测为各策略提供的证据,并通过推断确定精确度,而不是将其固定。
偏好并不等同于预测。偏好分布表示智能体在其组织方式或设计上所追求的结果;预测分布则表示它预期会发生什么。将两者混为一谈,就难以说明智能体如何能够预见不希望发生的事件,并采取行动加以阻止。期望自由能也并非简单地指对任意未来观测的变分自由能取期望:其定义取决于未来结果、后验信念和偏好如何纳入模型。不同的规划目标即使用语相近,也可能产生不同的探索行为。
学习、层级与假设的神经机制
主动推断模型区分了几种不同的更新过程。状态估计关注当前正在发生什么。参数学习关注相对稳定的规律,例如某个线索是否能可靠地预测某种结果。结构学习则关注模型本身的组织方式,包括潜在情境的数量,或是否存在某种因果依赖关系。这些过程在不同的时间尺度上运行,不一定采用相同的算法。
在有限状态模型中,似然概率和转移概率通常用矩阵表示。似然矩阵包含概率 ,而依赖于行动的转移矩阵包含概率 。狄利克雷分布为每个类别概率向量提供了一种便于使用的先验。随后,可以利用观测—状态配对或状态转移的期望计数来更新浓度参数,从而实现学习。因此,处于不确定状态的智能体不仅可以学习自己处于哪种状态,还可以学习其感觉线索和行动后果有多可靠。
层级模型引入了多个时间或空间尺度上的状态。变化缓慢的情境可能决定当前执行哪项任务,而变化较快的层级则表征该任务中的手部动作或视觉事件。较高层级约束较低层级的动态变化,较低层级的证据则更新对较高层级情境的信念。这使得同一观测在推断出的不同情境下可以具有不同含义——例如,同一个交通信号是否与自身有关,取决于行进方向。
精度在所提出的神经实现方案中居于核心地位。对于高斯变量,精度是方差的倒数;在多变量情形下,则是协方差矩阵的逆。提高赋予某个预测误差的精度,就会增强它对更新过程的影响。因此,注意可以被建模为对特定感觉信号置信程度的选择性调节。这并不意味着注意与精度在每项实验中都可以互换;它提供了一种计算假说,用来解释注意可能通过何种机制影响信息处理。
预测加工理论提出,不同的神经元群体分别编码预期和预测误差,皮层各层级之间的循环交互则实现近似推断。另一些假说将神经调质信号与不同形式的不确定性或置信程度联系起来。一些主动推断模型将多巴胺与策略的精度联系起来,这与以奖励预测误差为核心的解释形成对比。这些解释依赖于具体模型:多巴胺在不同回路和时间尺度上具有多种作用,任何单一的标量变量都无法涵盖其已确立的全部生理功能。
当模型参数的变化被映射为突触效能的变化时,主动推断便与神经可塑性建立了联系。这类映射可以导出类似于神经活动间局部关联的学习规则。然而,更新方程与突触机制在数学上的相似性,并不足以证明前者确实由后者实现。神经层面的解释还必须符合神经连接结构、信号传递延迟、细胞多样性,以及干预后可测量的反应等方面的实际情况。
行为模型与实证研究
主动推断已被用于对知觉、眼动、运动适应、信息寻求和序贯选择进行建模。一类典型实验会让行动主体面临可通过特定行动降低的不确定性。例如,在选择目标前先看向周边线索,或在作出后果重大的决策前先获取信息。模型根据先验信念、线索可靠性、结果偏好和规划时域之间的相互作用来预测行为。
眼动是主动感知的一个尤为直观的例子。一次注视就会改变视觉系统能够获取的感官证据。主动推断模型可能更倾向于选择预计能够区分场景的不同解释的注视位置,而不是仅根据图像对比度来选择。不过,注视还受到任务要求、习得的显著性、运动约束和刺激结构的影响。因此,要检验基于信息寻求的解释,就需要将其与能够体现这些影响的其他解释进行比较。
参数估计将这类模型与观测数据联系起来。研究者可以根据参与者的选择和反应模式,拟合偏好强度、学习率、先验置信度、感觉精度或策略精度。随后,可通过贝叶斯模型比较和样本外预测,评估某个模型是否比指定的备选模型更能解释行为。当多个参数可以相互补偿时,仅凭拟合良好并不能提供有力证据。例如,看似具有探索性的选择,可能反映的是信息寻求、较弱的偏好、对状态转移的不确定性,也可能只是行动选择不够精确。
因此,参数恢复十分重要:研究者使用已知参数值模拟数据,再检验拟合程序能否恢复这些参数值。模型恢复则考察,由相互竞争的模型生成的数据,能否被正确归属于生成它们的模型。这些程序有助于找出能够显现理论差异的实验,避免这些差异被灵活的拟合所掩盖。预注册还可以进一步区分数据收集前作出的预测与事后形成的解释。
临床计算研究也使用主动推断模型来研究知觉、行动和信念更新的异常。这类研究考察,推断出的精度、学习或偏好差异能否描述特定的任务行为。这些参数是计算层面的构念,而非已获确立的诊断指标;即使成功解释了实验室任务中的表现,也不能据此确定某种障碍的病因。同一种行为模式可能源于不同机制,而诊断相同的参与者在任务表现上也可能存在显著差异。
最具鉴别力的证据来自能够区分相互竞争的解释的干预。在保持结果价值不变的同时操纵线索可靠性,可以检验与不确定性有关的预测。改变获取信息的行动是否可用,可以区分有意的信息寻求与随机选择。神经测量可以提供额外约束,但某个脑区的激活与某个拟合量相关,并不能唯一确定该量在计算中的作用。有力的检验需要结合行为预测、可恢复的参数,以及模型变量与测量指标之间具有独立依据的联系。
与强化学习、控制及机器人学的联系
主动推断与强化学习有交集,因为两者都研究不确定性条件下的序贯行为。强化学习通常定义一个奖励函数,并寻求使期望累积奖励最大化的策略。主动推断则通常用偏好分布中的对数概率来表示期望获得的观测。如果所选偏好满足
那么
其中, 是奖励, 是缩放参数, 用于对分布进行归一化。因此,期望自由能中的偏好分量可以在相差一个缩放因子和一个加法常数的意义上,复现基于奖励的目标函数。
这种对应关系并不意味着任意主动推断算法都等价于任意强化学习算法。信息增益项、策略先验、近似推断过程以及规划时域,都可能改变最终得到的策略。反过来,强化学习方法也可以纳入信息奖励、贝叶斯不确定性和熵正则化。有实质意义的比较应着眼于实际使用的目标函数和算法,而不是抽象地对比“奖励驱动”系统与“好奇心驱动”系统。
在形式上,与主动推断关系更密切的是部分可观测马尔可夫决策过程,简称 POMDP。它对隐藏的环境状态、动作、观测及状态转移进行表示,决策依据的是信念,而非直接观测到的状态。许多离散主动推断模型采用相同的基本结构,但通过期望自由能来构建策略评估。它们与贝叶斯实验设计也有密切联系:选择某个动作,可能是因为预期其结果能够降低对某个状态或参数的不确定性。
在控制工程中,主动推断与模型预测控制的共同点在于,二者都会反复预测未来轨迹,随后采取行动并重新规划。它也与双重控制有关;在双重控制中,动作既调节系统,又揭示有关系统动力学的信息。例如,机器人移动一个不熟悉的物体时,既可能改变物体的位置,也可能了解它对移动的阻力。主动推断为形式化这种双重作用提供了一种途径,但其背后的控制问题早于这一框架就已存在。
机器人领域的应用包括视觉引导的伸手动作、导航、物体交互,以及对不确定感官反馈的适应。连续形式的实现通常通过梯度下降更新潜在状态和动作,而离散形式的实现则评估候选动作序列。通过学习获得的观测模型和状态转移模型可以由人工神经网络提供,从而能够处理比手工构建的类别模型更丰富的感官输入。
工程性能仍然取决于具体实现。随着规划时域延长,对所有动作序列进行规划的计算成本会呈指数增长,而不准确的动力学模型可能导致不佳的动作选择。实际系统会采用受限的策略集合、分层规划、采样或通过学习得到的近似方法。因此,与其他控制器进行比较时,必须考虑计算资源、模型质量、训练经验以及可获取的观测。仅凭“主动推断”这一标签,并不能证明系统具有更高的效率、稳健性或适应性。
适用范围、批评与未决问题
一个核心概念问题是,广泛适用的原则与可检验模型之间究竟是什么关系。声称适应性系统可以被描述为在最小化某种形式的自由能,比针对某项具体实验作出预测更为宽泛。只有明确系统的变量、模型结构、偏好、推断规则及其与可测量量之间的联系,理论才具有实证内容。缺少这些约束,就可能通过事后调整假设来解释不同的行为。
经常被讨论的“暗室问题”说明了区分不同目标的重要性。如果智能体只是最小化感官输入的不可预测性,那么它似乎会偏好一成不变的环境。主动推断理论对此的回应是:生物体具有涉及营养、运动及其他条件的结构化预期和偏好,而认知性行动可以使不确定的环境值得探索。这回应了上述简单质疑,却也将解释的重任转移到了这些偏好的来源与具体设定上。在人工智能体中,偏好通常由设计者设定;在生物学解释中,偏好则可能与发育、学习、生理机制和自然选择有关。
另一个问题涉及马尔可夫毯。自由能原理的某些表述用它来描述一组条件独立关系:内部状态与外部状态由中间变量隔开,并在给定这些变量时条件独立。马尔可夫毯是概率模型的属性,并不天然对应某个实际的解剖学表面。对于活的细胞而言,细胞膜是一个显而易见的物理边界,但要将细胞膜等同于某种特定的统计划分,还需要额外的建模假设。这类划分能否支撑有关表征、能动性或推断的论断,不能仅凭条件独立关系的存在来判断。
不同的理论表述之间也存在差异。连续梯度流模型、离散策略选择模型以及采用广义坐标的方法,未必具有相同的假设或保证。期望自由能本身也有若干密切相关但并不相同的表达式,具体取决于如何定义偏好和预测后验分布。在比较这些表达式对信息寻求行为的影响时,必须区分精确恒等关系与近似关系。在一种因子分解下成立的分解式,不能自动套用于另一种因子分解。
计算可 tractability 和模型误设仍然是重大问题。对于假设空间之外的可能性,智能体无法作出可靠推断,而且可能对错误模型越来越确信。近似后验分布可能舍弃重要的依赖关系,而过短的规划时域可能遗漏延迟出现的成本或收益。层级结构和习得的表征能够降低计算需求,但也会引入有关架构和训练的额外选择。
最后,与主动推断的数学定义相比,其所提出的神经实现机制尚未得到同等程度的确立。预测误差、不确定性信号和循环交互在神经系统中相当普遍,因此可以支持多种计算层面的解释。要确立一种具有辨识度的机制,就需要针对时序、神经回路、学习和扰动作出预测,而且这些预测不能被竞争性解释同样充分地说明。形式化研究同样必须明确,自由能目标在什么条件下能够带来稳定控制、有益探索或校准良好的信念,尤其是在计算资源有限、环境不断变化的情况下。