世界模型 (人工智能)

在人工智能中，世界模型是关于环境及其动态机制的内部表征，用于预测事态如何演变，并在受动作约束的系统中预测智能体采取行动后可能发生的结果。学习得到的世界模型可以直接表征观测，也可以将其编码至紧凑的潜在空间中。有些模型能生成未来的图像或其他感官观测；另一些则仅预测抽象特征、奖励或决策所需的变量。因此，该术语描述的是一种功能角色，而非单一的模型架构。(proceedings.mlr.press)

世界模型在基于模型的强化学习中尤为重要，因为它们允许智能体通过模拟经验进行规划或学习，而不必完全依赖与外部环境的实际交互。相关研究还涵盖交互式环境生成，以及用于支持物理规律预测和机器人规划的视觉表征。这些方法在建模对象、学习方式以及预测结果的利用途径上各不相同；其实用价值不仅取决于预测的保真度，还取决于所构想的结果能否在超出训练经验的情况下辅助做出可靠的决策。(nature.com)

定义与概念边界

环境模型用于表征智能体所处环境的各方面特征，并在其具备预测能力的形式下，指明这些周围环境如何演化。在人工智能领域，“世界模型”通常指代此类通过学习获得的环境预测模型，有时也包含将观测数据编码为内部状态的机制。对当下的表征与对变化的建模承担着不同的功能：对摄像头图像进行编码描述的是当前可见的内容，而预测随后的观测或内部状态则描述了随时间的演变。戴维·哈（David Ha）与于尔根·施密德胡伯（Jürgen Schmidhuber）在2018年提出的《世界模型》（World Models）系统明确了这一区分：其视觉组件负责压缩单个视频帧，而循环组件则利用先前的历史信息和智能体的动作来预测未来被压缩后的表征。因此，“世界”可以指代某个特定的游戏或控制环境，而非必然指对物理现实的全面建模。(worldmodels.github.io)

该术语涵盖了数种相互重叠的应用场景。在强化学习和控制理论中，它通常指习得的动态模型，用于预判候选动作的后果，或为训练控制器生成模拟经验。在生成式人工智能中，它可以用来描述生成交互式环境的模型：杰克·布鲁斯（Jake Bruce）等人于2024年推出的 Genie 能够生成可由用户逐帧操控的视觉序列，尽管其训练视频中并未包含记录下来的动作标签。在预测性表征学习中，其侧重点可能在于预测与物理事件相关的特征，而无需完整合成它们的视觉外观。2025年的 V-JEPA 2 研究便体现了这种区分：它将无动作的视频预训练与后续面向机器人规划的基于动作条件建模明确分离开来。这些用法均以时间序列预测为共同基础，但在输出形式以及对动作信息的获取方式上各不相同。(worldmodels.github.io)

世界模型并不等同于整个智能体。策略（强化学习）用于选择动作；价值函数用于估计期望累积奖励；而动力学模型则用于预测某种局势以及（在适用的情况下）某一动作之后的发展。这些功能可能会共享内部表征，但它们解决的问题各不相同。记忆负责保存来自早期观测和动作的信息，它能够辅助预测，但本身并不等同于预测模型。在哈和施密德胡伯的系统中，循环记忆属于预测组件，而动作则由一个独立训练的控制器负责选取。2019年提出的 MuZero 进一步证明，一个实用的习得模型并不需要重构未来的图像：其内部动力学即可支持对奖励、策略和价值的预测以用于规划。无论是独立的模型还是其内部状态，都不是最终提供真实观测和结果的外部环境。(worldmodels.github.io)

现成的仿真器与习得的世界模型都可以提供预测的状态转移，但两者的构建方式存在差异。现成的仿真器直接提供已为规划系统实现好的物理动力学；而习得的模型则是从数据中估计出预测性的关联。基于模型的决策本身并不必然要求通过学习来获取仿真器。反过来，习得的模型也可以充当代理仿真器，而无需复现环境的每一处细节。静态的知识库记录的是事实或关系，但单纯存储对象或事件的描述，本身并不能提供推动局势随时间演进的机制。对于世界模型在“预测”这一层面的用法而言，其核心能力在于生成后续的状态、观测或与任务相关的物理量，而不仅仅是保留描述性信息。(pubsonline.informs.org)

世界模型与普通视频生成的界限，尤其取决于动作响应性。普通的生成器可以生成在时间上合理连贯的动态画面，但无法接收一系列控制输入以供测试其影响。交互式模型则必须随着序列的展开对动作做出动态响应，如 Genie 的逐帧控制所展示的那样。动作条件化并非“世界模型”这一泛化概念在所有场合的必备要素：纯观测预测模型无需动作输入也能习得时间维度的规律性。然而，当模型的目的在于比较不同动作的优劣或充当可控环境时，这一区分至关重要；仅仅依靠视觉上的连续性并不足以确立这种能力。(arxiv.org)

历史发展

理查德·萨顿（Richard Sutton）在 1990 年和 1991 年的论文中提出的 Dyna 架构，将学习环境模型与学习如何行动结合在了一起。Dyna 没有将规划与强化学习视作彼此独立的过程，而是让两者共同更新智能体的决策机制。通过与环境交互获得的经验被用来训练一个预测行动后果的模型；随后，该模型在两次真实交互之间提供模拟经验，以进行额外的学习更新。萨顿在 1990 年的实验中包含了一项导航任务：智能体在通过试错学习的同时，不断修正其世界模型，并利用这个逐步完善的模型来规划路径。早在日后与“世界模型”这一术语紧密相连的基于图像的神经系统出现数十年前，该架构就建立起了一种通过模型生成的状态转移来复用经验的具体机制。(mlanthology.org)

戴维·哈（David Ha）与于尔根·施密德胡伯（Jürgen Schmidhuber）于 2018 年 3 月首次发布的论文《世界模型》（World Models），探讨了视觉环境在空间和时间上的压缩表征。该研究使用变分自编码器压缩单张图像，同时利用循环神经网络根据动作学习预测后续的表征。一个小型控制器利用压缩表征和循环记忆来选择动作。在他们的 CarRacing 实验中，训练以 10,000 个随机生成的场景片段为起点，每张图像都被压缩为一个 32 维向量。其 VizDoom 实验展示了该模型的另一种用法：控制器完全在一个学得的潜在环境中进行优化，随后迁移到原本的游戏环境中。环境模型本身是从随机交互收集的记录中学习而来的；在模型“内部”训练控制器并没有消除对环境数据的需求。(arxiv.org)

由达尼加尔·哈夫纳（Danijar Hafner）及其同事开发的 PlaNet 于 2018 年 11 月发布预印本，并于 2019 年 6 月发表在国际机器学习大会（ICML）上。它解决了直接根据像素观测进行在线规划的问题：它没有通过模拟完整的渲染图像来选择动作，而是在学得的潜在空间中评估候选动作序列。它的循环状态空间模型将确定性记忆与随机潜在转移相结合，使该表征在建模不确定结果的同时能够保留时间信息。其实验涵盖了涉及接触动力学、部分可观测性和稀疏奖励的视觉连续控制任务。在历史上，PlaNet 将学得的视觉表征与反复的、以动作为条件的规划联系起来，而不仅仅是将模型用作控制器的特征来源。(arxiv.org)

2019 年末，关于模型应保留哪些信息以及智能体应如何使用模型，出现了截然不同的方法。由朱利安·施里特维泽尔（Julian Schrittwieser）及其同事提出的 MuZero，将树搜索与用于预测奖励、动作选择策略和价值的学得动力学相结合，而无需重构未来的观测。其评估任务包括 Atari 游戏、围棋、国际象棋和日本将棋。由哈夫纳等人于 2019 年 12 月在预印本中提出并在 ICLR 2020 上展示的 Dreamer，则改为通过想象出的潜在轨迹来训练动作和价值模型。与 PlaNet 在动作序列上进行在线搜索不同，Dreamer 利用想象来学习一个随后可以直接选择动作的策略。Dreamer 的后续版本将这种方法扩展到了更多样化的控制场景中；DreamerV3 于 2023 年推出，并于 2025 年在一篇内容更详尽的期刊研究中正式发表。(arxiv.org)

杰克·布鲁斯（Jake Bruce）及其同事于 2024 年 2 月推出的 Genie，将这一研究方向拓展到了从观察性视频而非记录有动作标签的轨迹中学习交互式环境。其拥有 110 亿参数的模型在超过 20 万小时没有动作或文本标注的公开游戏视频上进行了训练。通过学得的潜在动作机制，系统能够逐帧控制生成的环境，包括从此前未见过的图像初始化的环境。除了早期专注于将模型内部用于规划或策略学习之外，这使得交互式环境的生成本身也成为了一个独立的研究目标。(arxiv.org)

数学形式化与部分可观测性

在离散时间步 $t$ ，令 $s_t$ 表示环境的状态， $o_t$ 表示智能体的观测， $a_t$ 表示其执行的动作。转移分布 $p(s_{t+1}\mid s_t,a_t)$ 刻画了系统可能到达的下一状态。马尔可夫性质假设当前状态和动作已包含做出该预测所需的全部信息，而无需单独以更早的历史信息为条件。确定性转移则表示为 $s_{t+1}=f(s_t,a_t)$ ，它是转移分布完全集中在单一结果上的特殊情形。概率模型能够表征多种可能的未来，而非仅返回单一预测。(cassandra.org)

观测模型 $p(o_t\mid s_t)$ 描述了隐藏状态如何生成传感器读数。观测并不一定能唯一确定状态：单张图像可以展示物体的位置，却无法揭示其速度；遮挡还可能使物体彻底消失在视野中。这使得基于视觉的控制本质上是一个部分可观测马尔可夫决策过程，而非必然是一个完全可观测的马尔可夫决策过程。在达尼亚尔·哈夫纳（Danijar Hafner）及其同事于 2019 年开展的 PlaNet 实验中，观测为 $64\times64\times3$ 像素的图像；在倒立摆任务中，由于摄像头固定，小车可能会滑出视野范围。因此，预测小车随后的位置需要利用当前图像之外的历史信息。(proceedings.mlr.press)

保留这些信息的规范方法是使用信念状态（belief state），即条件分布 $b_t(s)=p(s_t=s\mid o_{1:t},a_{1:t-1})$ 。在上述转移与观测假设下，贝叶斯推断通过以下方式对其进行更新：

b_{t+1}(s') \propto p(o_{t+1}\mid s') \int p(s'\mid s,a_t)b_t(s)\,ds,

若状态为离散变量，积分则替换为求和。转移模型首先预测系统可能变动到的位置；新观测随后对这些可能性重新赋予权重。精确的信念状态概括了用于后续决策的历史信息，尽管在庞大的状态空间中，计算和存储精确信念往往并不可行。(cassandra.org)

基于学习的模型通常采用潜空间中的推断状态来替代精确滤波。将该表征记为 $z_t$ ，以将其与物理状态 $s_t$ 区分开来。推断模型 $q_\phi(z_t\mid o_{1:t},a_{1:t-1})$ 融合了观测到的证据，而动力学模型 $p_\theta(z_{t+1}\mid z_t,a_t)$ 则在没有下一个观测的情况下进行预测。循环神经网络可以将历史信息压缩到记忆状态 $h_t$ 中，从而给出推断分布 $q_\phi(z_t\mid h_t,o_t)$ 。PlaNet 将确定性循环记忆与随机潜变量相结合；当单帧图像不足以支撑判断时，这种组合状态能够支持预测。这种学习得到的概括只是对精确信念所保留信息的近似，并不能提供完全保证。(proceedings.mlr.press)

对于给定的候选动作序列以及满足马尔可夫性质的潜状态，开环推演可以因式分解为：

p_\theta(z_{t+1:t+H}\mid z_t,a_{t:t+H-1}) = \prod_{k=t}^{t+H-1} p_\theta(z_{k+1}\mid z_k,a_k).

如果使用了循环记忆，此处的 $z_k$ 则指代包含该记忆的完整预测状态。不确定的初始状态可以通过对其推断分布求积分来处理。观测预测可以通过因子 $p_\theta(o_{k+1}\mid z_{k+1})$ 补充进来，但如果决策直接利用潜状态预测，解码出图像就并非必要。例如，PlaNet 在潜空间中评估预测的奖励，而无需生成未来的图像。(proceedings.mlr.press)

面向控制的模型还可能额外预测奖励以及回合的延续情况。按照基于转移的索引约定，这些可以写为 $p_\theta(r_{t+1}\mid z_t,a_t,z_{t+1})$ 和 $p_\theta(c_{t+1}\mid z_{t+1})$ ，其中 $c_{t+1}\in\{0,1\}$ 指示回合是否继续。DreamerV3 从其循环状态与随机状态的组合中预测奖励和延续标志；延续权重可防止估算的回报计入任务终止后的奖励。基于奖励的控制需要某种评估结果好坏的方式，但这一指标也可以由外部直接提供，而非必须通过学习获得。同样，已知的终止规则也可以取代延续预测器。价值函数可以用于估计超出有限推演时界的回报，但它本身独立于转移模型。(arxiv.org)

表征与架构体系

世界模型架构的差异主要体现在它们预测的目标，以及其内部状态必须保留哪些环境细节上。观测空间模型预测未来的感官观测（例如图像），而压缩隐状态模型则推演内部表征，并可选择性地将其解码为观测。因此，解码器可以支持视觉重建，但并不需要在每一步预测中都参与：Danijar Hafner 等人于 2019 年发表的 PlaNet 学习了一个观测模型，但在规划时完全依赖隐状态转移和奖励预测。面向任务的架构则更进一步，完全省略了观测重建，只保留指定决策输出所需的信息。MuZero 通过奖励、策略和价值预测体现了这一方法。这些区别关乎预测目标，而非互斥的神经网络设计。 (proceedings.mlr.press)

编码器—解码器架构将感官压缩与重建分离开来。在戴维·哈（David Ha）与于尔根·施密特胡伯（Jürgen Schmidhuber）2018 年的“世界模型”（World Models）系统中，变分自编码器充当视觉组件：其编码器将图像映射为隐向量上的概率分布，解码器则从采样的向量中重建图像。在 CarRacing 实验中，系统将每张 $64 \times 64$ 像素的彩色图像压缩为一个 32 维向量 $z_t$ 。独立的记忆组件结合了循环神经网络与混合密度输出层，用于建模 $p(z_{t+1}\mid z_t,a_t,h_t)$ ，其中 $a_t$ 为动作， $h_t$ 为循环记忆。它并非直接输出单一的后续编码，而是输出高斯混合模型的参数，从中可以采样出可能的后继编码。因此，空间压缩与时间预测是两个独立学习的运算；控制器接收的是当前的编码与循环记忆，而非重建后的图像。 (worldmodels.github.io)

循环状态空间模型将确定性记忆与随机隐动态结合在一起。PlaNet 的架构在确定性循环状态 $h_t$ 的同时引入了随机状态 $z_t$ ，其转移过程可表示为 $h_t=f(h_{t-1},z_{t-1},a_{t-1})$ 以及 $z_t\sim p(z_t\mid h_t)$ 。循环通路在时间轴上传递信息，而无需完全依赖连续的随机采样；随机组件则表征隐状态上的概率分布。当存在观测时，推断网络估计 $q(z_t\mid h_t,o_t)$ ；在缺乏新观测的预测阶段，模型则使用其转移分布。观测解码器和奖励解码器读取这一复合状态。这与单纯向确定性图像预测器添加随机噪声不同：记忆与推断出的随机状态共同构成了模型的时间表征。 (proceedings.mlr.press)

视频生成架构与联合嵌入预测架构的主要区别在于，它们预测的表征是否必须支持感官重建。2024 年推出的 Genie 将视频离散化为令牌（token），并利用基于动作条件的、时间自回归的动态机制，通过解码器生成连续帧。其动态模型使用掩码令牌流程来预测每一帧内的令牌，而非必须按顺序逐一生成每个空间令牌。相比之下，V-JEPA 利用自监督学习来预测被遮蔽视频区域的编码表征，而无需进行像素级重建。2025 年推出的 V-JEPA 2 进一步增加了基于动作条件的未来表征预测。此类特征预测本身并不指定具体的渲染图像。自回归与联合嵌入预测并非对立：特征预测器同样可以按自回归方式向前推演；关键的区别在于预测空间及其与感官细节之间的关系。 (arxiv.org)

Julian Schrittwieser 等人于 2019 年提出的 MuZero 使用了三个相互耦合的函数：表征函数将观测历史映射为内部状态；动态函数将该状态与动作映射为后续状态及预测奖励；预测函数则生成动作选择策略和价值。通过反复应用这些函数，即可为树搜索提供所需的统计量，而无需生成未来的观测。其隐藏状态无需对应于可识别的棋盘布局或重建的游戏画面。与生成式隐状态模型不同，MuZero 的训练目标是保留对上述规划输出有用的信息，而非复现环境完整的可观测外观。 (arxiv.org)

训练数据与学习目标

世界模型的训练数据可包含智能体与环境交互采集的轨迹、训练期间反复采样的经验回放、人类或机器人的演示数据，亦或纯观测视频。交互轨迹通常记录了观测、动作、奖励及回合边界；演示数据则能提供“观测—动作”序列，使学习者无需自行探索即可获得这些行为模式。重放存储的经验序列将模型更新与新的环境交互分离开来。在丹尼贾尔·哈夫纳（Danijar Hafner）等人于2019年提出的PlaNet系统中，训练始于采取随机动作的回合，随后在对存储的序列片段进行采样和收集额外经验之间交替进行。纯视频数据集提供了时序观测信息，但未必包含引起状态转移的控制输入：例如Genie在2024年的实验中，将机器人演示数据仅作为视频处理，并特意舍弃了其中记录的动作信息。(proceedings.mlr.press)

不同的损失函数决定了所学状态必须保留哪些信息。重构损失促使表征保留重现观测所需的信息；负对数似然则用于训练指定的预测分布，使其为记录到的结果赋予更高的概率。PlaNet采用了固定方差的高斯观测与奖励模型，因此在忽略缩放和常数项的前提下，其负对数似然在数学上等价于平方误差。奖励预测保留了与任务结果相关的信息，而延续预测则保留了回合是否仍在继续的信息。DreamerV3综合了观测重构、奖励预测与延续预测。用于预测潜在特征的模型则直接对比预测的表征与编码的目标表征，无需学习重构像素级细节；例如V-JEPA 2-AC采用了一种 $L_1$ 特征预测损失。(proceedings.mlr.press)

在潜在动力学模型中，变分推断将从观测中推断出的状态与动力学模型预测的分布联系在一起。给定循环历史 $h_t$ ，编码器生成一个近似后验 $q_\phi(z_t\mid h_t,o_t)$ ，而动力学模型在未见当前观测的情况下预测先验分布 $p_\theta(z_t\mid h_t)$ 。证据下界将期望重构对数似然与上述两分布之间的KL散度惩罚项结合起来。重构项鼓励状态保留丰富信息，散度项则惩罚动力学模型无法预测的、依赖于具体观测的信息。DreamerV3利用截断梯度（stop-gradient）算子将这种对比拆分为动力学损失与表征损失：前者驱动预测器向推断状态靠拢，后者则使推断出的表征更具可预测性。其散度损失在低于1奈特（nat）时会被截断，从而在该阈值以下停用梯度。(proceedings.mlr.press)

在序列上进行训练并不等同于直接训练开环的多步预测。在评估下一步转移之前，编码器可以先吸收每一个新的观测。PlaNet引入了“潜在超前预测”（latent overshooting）：转移模型根据记录的动作向前多步推演，并将其预测的状态分布与对应时刻由观测推断出的后验分布进行对比。与观测空间的超前预测不同，这种方法无需在每个预测步都解码图像，即可施加更长程的散度惩罚。该研究报告了其对多种动力学模型的增益，但其最终的循环状态空间智能体并未采用超前预测；这一目标函数是一种附加的训练手段，并非所有PlaNet实现的必要组件。(proceedings.mlr.press)

“先进行观测预训练，再进行动作条件适配”的做法，将视觉规律的学习与可控转移的学习分离开来。2025年推出的V-JEPA 2通过自监督学习在包含超过100万小时互联网视频的图视数据上进行了预训练。其动作条件版本V-JEPA 2-AC随后在冻结编码器的情况下，仅使用不足62小时的DROID机器人视频训练了一个预测器。这里的“无标注”是指未使用任务标识、奖励和成功与否的标签，并不意味着缺少控制相关信息。动作是从记录的七维末端执行器状态变化中构建而来的。其训练结合了下一步特征预测损失与两步自回归展开损失。(arxiv.org)

相比之下，Genie在缺乏记录输入的情况下自主学习一种控制表征。其潜在动作模型将帧与帧之间的转移编码为一个小型离散码本，并通过下一帧重构任务来学习这些编码。随后，动力学模型以推断出的编码和先前各帧为条件预测视频标记（tokens）。其2024年的平台跳跃类游戏实验使用了8个潜在动作编码以及约3万小时的视频。在生成过程中，选择一个编码即为学得的动力学模型提供了一种干预，尽管该编码并非原始控制器按键的有监督标签。这与利用实际测得的机器人指令或状态变化进行的动作条件适配不同：它的控制词表本身是从视觉转移中推断出来的。(arxiv.org)

通过想象经验进行规划与学习

在线轨迹规划利用学到的模型在执行动作前对其进行评估。规划器根据近期观测推断出的状态，提出候选动作序列，预测这些动作导致的后续状态与奖励，并挑选出预测回报较高的序列。在模型预测控制（又称后退视界控制）机制下，系统仅执行第一步动作；随后的新观测会用于更新状态估计，并重新开始规划。这种反馈机制将该方法与在不获取进一步观测的情况下直接执行整条预测序列的做法区分开来。Danijar Hafner及其同事于2019年提出的PlaNet在潜空间中实现了这一过程。其交叉熵优化器不断采样候选序列，并将其采样分布重新拟合到高奖励候选项上。尽管图像重构有助于训练该模型，但规划过程使用的是潜状态转移与奖励预测，而非解码后的图像。PlaNet不需要独立的策略网络或价值网络来选择动作。

树搜索将想象经验组织成分支结构中的各种备选路径，而非独立评估完整的序列。Julian Schrittwieser及其同事于2019年提出、并于2020年发表在《自然》（Nature）上的MuZero，在学到的隐状态转移上执行蒙特卡洛树搜索。其预测网络提供动作先验和状态价值；动力学网络则在给定候选动作下推进隐状态，并预测即时奖励。搜索过程选择分支、扩展新节点，并反向传播预测的奖励与价值以更新动作估计。随后，根节点的访问次数决定了最终选取的动作，并为策略训练提供目标。因此，直接执行该网络的策略并不等同于运行MuZero的搜索过程：搜索在采取动作前进行了额外的基于模型的计算。在最初的实验中，围棋、国际象棋和将棋每次搜索使用800次模拟，而Atari游戏使用50次。

与之不同，Dreamer主要利用想象轨迹来训练可复用的演员—评论家方法控制器。该算法由Hafner、Timothy Lillicrap、Jimmy Ba和Mohammad Norouzi于2019年12月提出，并在ICLR 2020上发表，最初的版本划分了三种角色：世界模型预测潜状态转移和奖励；演员将潜状态映射为动作；评论家估计从这些状态中可获得的回报。演员以从记录经验中推断出的状态为起点，向模型输入动作，在无需与环境进一步交互的情况下生成轨迹。评论家学习结合了预测奖励与自举价值估计的目标，使得有限步长的想象轨迹能够支持更长视界的行为规划。演员优化通过预测的转移和奖励反向传播解析梯度，以提升估计回报，而在行为更新期间世界模型的参数保持固定。在与环境交互期间，演员直接根据推断出的潜状态选择动作，无需执行在线轨迹搜索。

模型生成的转移数据还可以用来扩充常规的经验回放。Michael Janner、Justin Fu、Marvin Zhang和Sergey Levine在2019年提出的基于模型的策略优化（MBPO）将概率集成模型拟合到真实转移数据上，从环境回放缓冲区中采样起始状态，并利用当前策略生成短分支。合成转移数据进入一个独立的模型缓冲区，并与真实经验混合，用于软演员—评论家（soft actor–critic）更新。这使得模型展开（rollout）的时间视界与任务的整幕（episode）长度分离开来：长期价值学习并不需要同样漫长的模型模拟。在所报告的Hopper实验中，展开步数从1步逐步增加到15步的调度策略效果最佳，而固定的单步展开也保留了大部分收益。此时，模型提供的是训练样本，而非在线搜索过程。

因此，交互效率与计算开销衡量的是不同的资源。MBPO在Ant任务上仅使用约30万个环境步就达到了报告中软演员—评论家使用300万步才取得的表现，但每个环境样本对应了20至40次策略梯度更新，此外还有模型拟合与合成数据生成的开销。这些环境步数的减少并不意味着实际训练耗时的等幅缩短。在线规划器在决策时还会产生重复的候选序列展开或树搜索成本，而Dreamer则将基于想象的行为优化置于训练阶段，在交互时直接执行学到的演员策略。因此，环境采样次数的减少完全可能与庞大的模型训练、展开生成及搜索计算开销并存。

不确定性与模型可靠性

偶然不确定性（Aleatoric uncertainty）涉及随机结果：即使动力学已知，相同的状态和动作也可能产生不同的后继状态。认知不确定性（Epistemic uncertainty）则源于对这些动力学缺乏足够的了解，特别是在训练数据稀疏的区域；额外的观测可以减少这种不确定性。这种区分对探索至关重要：反复观察固有随机的结果并不一定能消除关于模型本身的不确定性。预测分布可以同时表征这两种不确定性来源，但单凭其总方差并不能将二者区分开来。(arxiv.org)

Kurtland Chua、Roberto Calandra、Rowan McAllister 和 Sergey Levine 于 2018 年提出的**轨迹采样概率集成（PETS）**使用了基于自举（bootstrap）神经网络的集成学习方法。每个网络预测后继状态的高斯分布：网络内部的方差代表偶然不确定性，而网络之间的分歧则近似表示认知不确定性。候选动作序列通过传播采样的状态粒子并对其累积奖励取平均值来进行评估。在 $TS_1$ 变体中，粒子在每一步都重新采样网络；而在 $TS_\infty$ 中，每个粒子在整个轨迹中都保持使用同一个网络，从而维持了一致的动力学假设。实验中使用了 5 个网络和 20 个粒子。这种做法通过连续预测来传播不确定性，而不是将每个可能的后继状态简单替换为其均值。(arxiv.org)

长时展开（Rollout）引入了另一个可靠性问题：每个预测出来的状态都会成为下一次预测的输入，因此微小的误差可能会不断累积，并将轨迹推向模型精度较差的区域。策略改进还会改变所访问的状态-动作对，从而相对于先前收集的经验造成分布偏移。当数学优化之所以选择某种行为，是因为不准确的动力学预测给出了异常优厚的收益，而不是因为该行为在真实环境中能获得相当的回报时，就会发生模型利用（Model exploitation）。这一问题在离线学习中尤为严重，因为无法通过额外的交互来修正误导性的预测。模型并不需要在所有区域都不准确：优化器会优先选择利用其有利的误差。(papers.nips.cc)

限制展开时域可以减少复合误差的影响。Michael Janner 等人在 2019 年提出的基于模型的策略优化（MBPO）从真实经验中的状态出发分支生成短的合成展开，将模型的预测时域与任务的实际持续时间解耦。其在线过程反复收集环境转移数据并重新训练模型，随着策略的改变及时更新数据覆盖范围。在所报告的 Hopper 实验中，预测的策略收益与环境中的实际策略收益高度相关；即使是单步合成展开也提供了有效的基准。这些发现支持了在受限范围内使用模型，而非模型的普遍可靠性：其理论证明依赖于关于模型误差、策略改变以及超出训练分布的泛化的假设或估计。即使是短时展开，仍有可能遇到不准确的转移。(papers.nips.cc)

考虑不确定性的方法也可以用来修改优化目标。Tianhe Yu 等人在 2020 年提出的基于模型的离线策略优化（MOPO）根据估计的动力学不确定性对奖励施加惩罚，公式为：

\widetilde r(s,a)=r(s,a)-\lambda u(s,a),

其中 $u(s,a)$ 用于估计模型误差， $\lambda$ 控制惩罚力度。其在环境收益上的理论下界要求存在一个在特定分布距离下对转移误差构成上界的可容许估计量，并需要对价值函数类作出假设。其实际实现则采用了一种基于预测模型方差的启发式方法。因此，该定理并未证明任意集成模型的方差都能提供有效的误差界。与在线数据刷新不同，这种惩罚机制在固定数据集上运作，权衡了超出其覆盖范围的潜在收益与估计的预测风险。(proceedings.neurips.cc)

基于视频训练的世界模型与交互式世界模型

观测视频提供了物体运动、遮挡、相机移动以及交互行为的丰富示例，但往往并未记录引发这些变化的具体控制指令。自监督学习可以通过预测缺失的视觉信息或后续观测来利用这些序列。然而，被动预测不同于以动作为条件的模拟：预测某一场景之后通常会发生什么，并不能说明当智能体采取特定动作时会发生什么。基于视频训练的系统通过两种途径来解决这一差异：要么从观测中推断出可控的隐动作空间，要么在视觉预训练后补充交互数据。Genie 与 V-JEPA 2 分别代表了这两种方法。(arxiv.org)

最初的 Genie 由 Jake Bruce 及其在 Google DeepMind 的同事于 2024 年 2 月提出，是一个参数量约 110 亿的研究模型。该模型在经过筛选的 3 万小时视频集合上训练而成，视频取材自数百款二维平台跳跃类游戏，且未记录任何动作标签。它由三个组件构成：时空视频分词器、隐动作模型以及自回归动力学模型。分词器利用空间和时间注意力机制将视频帧压缩为离散的视觉 token。在训练过程中，隐动作模型通过对比前面的帧与后续帧，将其变化编码到一个具有 8 种离散动作编码的瓶颈层中。动力学模型则学习如何根据先前的 token 和推断出的动作来预测下一帧的 token；跨帧生成采用自回归方式，帧内则采用迭代掩码 token 采样。(arxiv.org)

在推理阶段，Genie 的动作推断网络被替换为用户选定的动作编码。输入的提示图像被转化为 token，在提供动作后，预测出的 token 被解码为下一幅图像；重复这一过程即可实现逐帧交互控制。演示中使用了合成图像、真实照片和手绘草图作为起始场景，相同的隐编码在不同提示图像下能够产生相似的运动模式。文本则可以通过生成初始帧的文生图模型间接引入。这种基于条件的控制产生的是符合所学视觉规律的交互式延续画面，而非对照片拍摄地点或某款现有电子游戏规则的精准复刻。(arxiv.org)

由 Mido Assran 及其同事于 2025 年 6 月提出的 V-JEPA 2 则采用了预测性表征学习。其预训练利用了超过 100 万小时的互联网视频以及图像数据。编码器负责处理可见区域，而预测器则估算由目标编码器生成的被掩码时空区域的表征。因此，其预测目标是特征表征，而非重构像素。其以动作为条件的扩展版本 V-JEPA 2-AC 保留了预训练的编码器，并使用不到 62 小时的 DROID 机器人数据训练了一个预测器。虽然该适配过程不需要任务标注，但它并非仅基于视频：配套的末端执行器位置、姿态和夹爪状态提供了七维状态向量，连续状态之间的差异则被定义为动作。(arxiv.org)

视觉提示、动作和目标在这些系统中发挥着不同的作用。Genie 的提示用于初始化生成的场景，而连续的动作编码则引导画面的后续走向。在 V-JEPA 2-AC 中，候选机器人动作序列作为预测未来特征的条件，目标图像则提供目标表征，用于与这些预测结果进行比对。后者支持以目标为导向的规划，而无需生成可见的未来视频。无论是在视觉上逼真的画面延续，还是在特征空间中的接近性，都不能单独证明模型已经复原了所有底层的物理变量。(sites.google.com)

将观测转化为可控动力学仍面临若干特定困难。动作可辨识性涉及推断出的编码是否代表了智能体的干预，而非其他可见变化的来源；Genie 的隐控制量是学习得到的编码，并非自动识别出的键盘指令或机器人执行动作。隐状态则构成了另一个难题：单幅图像可能缺少速度、被遮挡物体或影响后续运动的几何结构，这也促使模型采用时间上下文。此外，长期一致性还要求在反复将生成的预测结果反馈回模型的同时，保持先前的物体和状态改变不丢失。这些要求与仅仅生成看似合理的单帧图像截然不同；随着交互的持续，自回归交互式生成可能会不断累积不一致性。(arxiv.org)

应用与已验证能力

在离散策略游戏中，习得的模型无需提供转移模拟器即可支持规划。朱利安·施里特维瑟（Julian Schrittwieser）及其同事于2020年在《自然》（Nature）上发表的MuZero，在围棋、国际象棋和将棋中达到了AlphaZero的超人水平，并在57款Atari游戏中取得了领先业界的成果。其模型预测用于搜索的奖励、策略和价值，而不是重建未来的图像。这些结果展示的是将习得模型与博弈树搜索相结合的智能体，而非单独行动的预测模型。(nature.com) 连续控制演示则面临不同的需求：动作呈连续变化，成功与否取决于在不断演变的物理动力学下协调动作。PlaNet于2019年的评估使用了六项基于图像的模拟任务，包括猎豹奔跑、行者行走、手指旋转以及杯中接球，其动作通过在潜空间中进行规划来选择。这些均为视觉运动与操作基准测试，并非实体机器人部署。(proceedings.mlr.press)

达尼哈尔·哈夫纳（Danijar Hafner）、尤尔吉斯·帕苏科尼斯（Jurgis Pasukonis）、吉米·巴（Jimmy Ba）和蒂莫西·利利克拉普（Timothy Lillicrap）于2025年4月2日发表的第三代Dreamer评估，在单一超参数配置下涵盖了150多项任务。其基准测试包括20项分别使用本体感受输入和纯图像观测进行评估的连续控制任务，横跨经典控制、运动以及模拟机器人操作。报告中所体现的广泛适用性，是指将同一学习算法应用于不同任务，而非单一训练好的策略无需进一步学习即可执行所有任务。(nature.com) 在《我的世界》（Minecraft）中，Dreamer仅凭像素和稀疏奖励，在没有人类演示或课程设置的情况下，学会了最终采集到钻石的资源收集和合成序列。所有接受评估的Dreamer训练轮次均在1亿个环境步内发现了钻石。然而，该实验仍提供了任务奖励结构，并使用了包含抽象合成动作的离散动作接口；方块破坏过程也进行了加速。因此，“从零开始”描述的是缺乏基于演示的学习和分阶段课程，并非没有任何人为设计的任务条件。(nature.com)

2025年的V-JEPA 2-AC展示了实体机器人学操作能力。在视频预训练之后，该动作条件模型利用来自DROID的不到62小时的机器人交互视频进行了后训练，并部署在两个实验室的Franka机械臂上，期间未从这些部署环境中收集训练数据，也未使用特定任务的奖励。(arxiv.org) 规划器通过最小化预测未来表征与图像目标表征之间的距离来选择动作，执行动作后再重新规划。抓取放置任务使用了三个视觉子目标：抓取物体、移动至目的地附近并放置。在两个实验室中，对于杯子，抓取放置的平均成功率为80%；对于盒子，则为65%，每个实验室和物体条件各进行十次试验。这些属于受限的桌面演示：摄像头位置是手动选定的，图像子目标有助于降低长时程规划的难度。(arxiv.org)

生成的交互式环境为行为实验提供了另一种场景。2024年12月，Google DeepMind展示了其SIMA智能体在Genie 2生成的环境中遵循指令，包括打开蓝门或红门。这测试了现有智能体在新生成场景中的指令遵循行为；其本身并不能作为在这些场景中训练可提高在其他地方性能的证据。随之提出的生成多样化训练和评估世界的方案超越了该演示本身。(deepmind.google) 2024年的Genie原始论文展示了一种相关但不同的训练用途：其习得的潜在动作模型为先前未见的专家视频打上标签，以用于CoinRun中的模仿学习。仅需200个带动作标签的专家样本来将潜在控制映射到真实控制，生成的策略就达到了动作监督行为克隆基线的水平。该实验是从视频中的推断动作进行训练，而非完全在生成世界内部建立通用强化学习。(arxiv.org)

因此，这些演示确立了不同类型的能力。MuZero和Dreamer衡量了软件定义的游戏和模拟器中的决策能力；基于Genie的实验考察了习得环境中的可控性、模仿或智能体行为；V-JEPA 2-AC衡量了实体硬件上的闭环操作。无论视觉上多么令人信服的交互，抑或模拟环境中多么高的奖励，都不能确立物理上的可靠性；而在桌面上成功完成的操作，也不能确立在跨物体、跨环境或面对更长任务时无限制的能力。(nature.com)

评估与实验方法

评估工作主要区分五个问题：预测是否与观测结果相符；模型辅助决策是否能提高回报或任务成功率；学习过程需要多少环境交互；训练和部署消耗多少计算资源；以及性能是否能迁移到陌生的条件中。这些指标并不能相互替代。例如，PlaNet 在 2019 年的实验中同时测量了控制性能以及学习所需的幕数（episodes），而不是把精确的图像重建当作动力学模型有效的充分证据。用于规划的模型必须保留与动作相关的奖励和结果，即使某些视觉细节与任务本身无关。(proceedings.mlr.press)

预测测试根据评估期间所提供信息的不同而有所区别。留出单步预测以记录的观测和动作为条件，预测测试集中的下一个结果。开环多步预测从一段观测历史出发，递归推进模型，而不引入后续的真实观测值。闭环评估允许策略根据不断演变的观测来选择动作；这既可以测试在真实环境中运行的智能体，也可以测试与学到的仿真器交互的策略，且这两者的区别必须明确说明。单步准确率可能会掩盖复合累积误差，而基于最新观测重新规划则能弥补无干预长程推演中变得极其严重的误差。相反，策略也可能会探索到记录测试轨迹中不存在的状态。因此，这些测试给出的模型排名未必一致。(arxiv.org)

动作响应性要求的不仅仅是视觉上看似合理的时间序列。控制变量测试会固定初始状态或历史，改变动作序列，并对比预测变化与实际执行结果——例如物体位移、接触状态或末端执行器的运动。具备奖励预测功能的模型还可以通过奖励误差、预测累计回报以及与候选策略实际排名的一致性来进一步评估。随后，任务成功率的测量可用于确定基于模型的选择能否在模型之外奏效。一份 2026 年的方法学立场论文建议，将这些诊断手段与针对模型优化策略的“预测性能与实际性能差距”测试结合起来；该论文将其定位为一个评估框架，而非既定的通用基准。(arxiv.org)

基准协议明确了何为有效交互以及可获取的信息。Atari100k 允许智能体做出 100,000 次决策，在动作重复 4 次的惯例下，这通常对应 400,000 个游戏帧；若仅报告“步数”，则会模糊这种区分。对比结果还取决于观测是基于像素还是状态、控制是离散还是连续、单幕终止条件、是否有专家演示以及是否使用外部预训练。哈夫纳（Hafner）及其同事在 2025 年的 Dreamer 研究中，在 8 个领域和超过 150 个任务上使用了单一超参数配置。其默认协议采用了 5 个独立训练随机种子（在 BSuite 和 Minecraft 上为 10 个），并绘制了均值及一个标准差范围。这测试的是固定配置的鲁棒性，而非针对特定任务单独调优后的性能。(nature.com) 在统计学解释方面，阿加瓦尔（Agarwal）及其同事 2021 年对强化学习基准的研究表明，基于点估计的排名在不确定性分析下可能会发生改变，这推动了区间估计以及四分位平均数（interquartile mean）等鲁棒聚合指标的应用。(papers.nips.cc)

交互效率是依据相对于真实转移（transition）或真实帧数的学习曲线来衡量的，而非基于想象转移。计算开销则需要分别报告硬件配置、训练耗时、更新频率以及推理或规划延迟。Dreamer 的 2025 年实验在单张英伟达 A100 GPU 上训练每个智能体，但单凭这一硬件说明并不能证明不同算法之间的计算成本相当。(nature.com) 2025 年的 V-JEPA 2 研究说明了部署延迟的重要性：在其报告的采样配置下，与 Cosmos 的对比中，在 RTX 4090 上每次规划动作大约需要 4 分钟，导致一次完整的抓放操作耗时超过 1 小时。脱离耗时的成功率会忽略一个至关重要的实验差异。(arxiv.org)

消融实验在保持相当的数据和评估预算的前提下，通过替换表征、移除训练目标或改变规划组件来厘清各项因素的贡献。PlaNet 对比了确定性动力学、随机动力学及其组合，并考察了隐空间超调（latent overshooting），从而将架构选择与多步训练效应区分开来。(proceedings.mlr.press) 泛化测试则会分别留出关卡、物体、任务或部署环境；针对每个基准任务从头训练新智能体，与迁移预训练模型有着本质区别。V-JEPA 2-AC 的机器人评估采用了陌生的物体和环境，且未在这些部署环境中采集训练数据。其消融实验还考察了视频预训练、动作条件化以及训练展开时域，从而将表征和预测选择与实际测得的机器人任务成功率联系起来，而非仅仅关注视觉质量。(arxiv.org)

与认知的联系及开放性研究问题

想象推演在功能上类似于认知科学中的内部模拟：智能体对所处情境进行表征，推演可能产生的后果，并在无需先在外部实际执行每个动作的情况下直接利用这些推演。在戴维·哈（David Ha）与于尔根·施密德胡伯（Jürgen Schmidhuber）2018年的论文《世界模型》（World Models）中，控制器可以在学习到的循环网络环境中完成训练，随后直接迁移到原始游戏环境中。在此处，“做梦”是指从神经动力学模型中采样序列，而非生物学意义上的做梦。这一工程成果证明了合成经验能够支持策略学习；但这并不意味着人类或动物采用了相同的表征形式、学习目标或推演过程。因此，其与认知的联系主要体现在计算功能层面，而非神经网络组件与生物机制之间已被证实具有等价性。 (arxiv.org)

层次化预测试图用跨越多个空间或时间尺度的预测，来替代由基本状态转移构成的冗长序列。较高层次的表征可以用来描述到达某一位置，而较低层次的模型则描述到达该位置所需的具体动作。杨立昆（Yann LeCun）在2022年的立场论文《通往自主机器智能之路》（A Path Towards Autonomous Machine Intelligence）中提出了分层联合嵌入预测架构，其中高层为底层设定目标。另一个已落地的典型范例是达尼贾尔·哈夫纳（Danijar Hafner）、李匡慧（Kuang-Huei Lee）、伊恩·菲舍尔（Ian Fischer）与彼得·阿贝尔（Pieter Abbeel）于2022年提出的 Director：其管理者每隔八个时间步选择一次潜在目标，而执行者则负责选取具体的基本动作。Director 在单一细粒度世界模型中通过想象经验来学习这些策略；因此，层次化控制并不等同于学习多层次的动力学模型。这类架构只是研究长时程行为的探索途径，并非实现智能已确立的必要前提。 (openreview.net)

精准的观测预测还必须与因果推断明确区分开来。通常情况下，基于记录行为估计出的 $p(o_{t+1}\mid o_t,a_t)$ 并不必然等于描述从外部施加干预动作的 $p(o_{t+1}\mid o_t,\operatorname{do}(a_t))$ 。若存在一个未被观测到的变量同时影响记录中的动作与随后的结果，该动作便能在不构成因果关系的前提下预测该结果。以信息充分的状态为条件并获取适宜的干预数据可以弥合这种差异，但仅仅引入动作输入并不足以满足这些前提条件。皮姆·德哈恩（Pim de Haan）、迪内什·贾亚拉曼（Dinesh Jayaraman）与谢尔盖·莱文（Sergey Levine）在2019年的论文《模仿学习中的因果混淆》（Causal Confusion in Imitation Learning）中指出了一个相关问题：策略可能会利用与专家动作相伴随的虚假关联，而当智能体自身的行为改变了这些相关性时，策略就会失效。对于世界模型而言，这启发研究者应当在干预场景下检验动作的后果，而不是将单纯的被动预测准确性等同于可靠的动作预判能力。 (arxiv.org)

与语言模型的集成提供了接入预测性表征的另一层接口，而并非将语言预测本身转化为物理模拟器。2025年的 V-JEPA 2 论文通过可学习的投影层将视觉嵌入连接至预训练语言模型，并在图像-文本及视频-文本对上对整合系统进行了训练。其参数规模更大的配置采用了 Llama 3.1 8B 和包含 8850 万样本的对齐数据集，在 PerceptionTest 上取得了 84.0 分，在 TempCompass 上取得了 76.9 分。这些视频问答评测结果反映的是系统理解视觉信息并生成语言回答的能力。而该论文中以动作为条件的机器人预测模型 V-JEPA 2-AC 则是另一项独立的适配方案。这种划分表明，多模态学习、语言陈述以及可控动力学预测可以共享底层表征，同时仍各自保留不同的训练目标与验证依据。 (arxiv.org)

可重用模型引发了关于哪些要素应在不同任务间保持不变、哪些要素必须随环境更迭而调整的讨论。V-JEPA 2 采用的“先观测预训练、后动作条件适配”路径提供了一种具体思路，但这种表征能在多大程度上普适于不同的执行器、观测系统与交互动力学，仍悬而未决。杨立昆提出的可配置模型构想涉及一个相关问题：保留所有的感知细节，与仅保留特定决策所需的变量完全是两回事。当前悬而未决的研究问题包括：学习在长时程内仍具预测效力的抽象表征、在不丢失已掌握的预测与控制技能的前提下实现持续适应，以及判别先前被舍弃的细节何时会在新任务中重新发挥关键作用。哈与施密德胡伯在2018年的讨论中明确指出，行为回放（behavioural replay）可能是保留旧技能的一种潜在机制，但他们将针对这些更广泛方案的实证研究留待了后续工作。 (arxiv.org)

参考来源

World Modelsworldmodels.github.io
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Modelarxiv.org
Genie: Generative Interactive Environmentsarxiv.org
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planningarxiv.org
Integrated Architectures for Learning, Planning, and Reacting Based on Approximating Dynamic Programmingmlanthology.org
World Modelsarxiv.org
Learning Latent Dynamics for Planning from Pixelsarxiv.org
Learning Latent Dynamics for Planning from Pixelsproceedings.mlr.press
Dream to Control: Learning Behaviors by Latent Imaginationarxiv.org
Dream to Control: Learning Behaviors by Latent Imaginationopenreview.net
Mastering Diverse Domains through World Modelsarxiv.org
Mastering diverse control tasks through world modelsnature.com
Planning and Acting in Partially Observable Stochastic Domainscassandra.org
Learning Latent Dynamics for Planning from Pixelsproceedings.mlr.press
Mastering Diverse Domains through World Modelsarxiv.org
Genie: Generative Interactive Environmentsarxiv.org
V-JEPA: Video Joint Embedding Predictive Architecturegithub.com
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planningarxiv.org
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Modelarxiv.org
Mastering Atari, Go, chess and shogi by planning with a learned modelnature.com
Dream to Control: Learning Behaviors by Latent Imaginationarxiv.org
When to Trust Your Model: Model-Based Policy Optimizationpapers.neurips.cc
Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Modelsarxiv.org
When to Trust Your Model: Model-Based Policy Optimizationpapers.nips.cc
MOPO: Model-based Offline Policy Optimizationproceedings.neurips.cc
🧞 Genie: Generative Interactive Environmentssites.google.com
Introducing V-JEPA 2ai.meta.com
Genie 3 — Google DeepMinddeepmind.google
Learning Latent Dynamics for Planning from Pixels: Supplementary Materialproceedings.mlr.press
Genie 2: A large-scale foundation world modeldeepmind.google
How Should World Models Be Evaluated? A Decision-Making-Centric Positionarxiv.org
Deep Reinforcement Learning at the Edge of the Statistical Precipicepapers.nips.cc
World Modelsworldmodels.github.io
A Path Towards Autonomous Machine Intelligenceopenreview.net
Deep Hierarchical Planning from Pixelspapers.nips.cc
Causal Confusion in Imitation Learningarxiv.org