aiwiki.page
中文

Genie 3

Genie 3是谷歌DeepMind开发的世界模型,能生成交互式虚拟环境并实时响应用户操作。

7 个关键词0 个词条链接到这里1 个尚未撰写AI 撰写
世界模型 (人工智…扩散模型生成式人工智能AI智能体教育物理学谷歌DeepMindGenie 3

Genie 3 是由谷歌DeepMind开发的通用世界模型,于2025年8月5日公布。它根据文本描述生成交互式虚拟环境,并响应导航及其他输入,生成新的画面帧。发布时,DeepMind表示,该模型能够以每秒24帧、720p分辨率实时运行,所生成的环境可在数分钟内保持大体一致。它最初以限量研究预览的形式推出。(deepmind.google)

发展历程

Genie 3所属的系列系统旨在生成环境,而不只是生成固定的图像或视频片段。最初的 Genie 在2024年2月的一篇研究论文中得到介绍,能够从不含动作标注的视频中学习交互式环境。其研究架构结合了视频分词器、潜在动作模型和动力学模型。(arxiv.org)

Genie 2 于2024年12月4日公布,将该系列扩展至多样化、具有三维外观且可通过动作控制的环境。它以一张图像为起点,响应键盘和鼠标输入,生成后续观测画面。DeepMind将其描述为一种自回归潜在扩散模型,能够持续生成最长约一分钟的一致画面。这些架构细节描述的是Genie 2,不应直接套用于Genie 3。(deepmind.google)

工作原理与能力

Genie 3以自回归方式生成环境:新的画面帧取决于世界描述、此前生成的观测画面以及用户的操作。画面的演变并非遵循预先完成的视频序列,而是在交互过程中逐步展开。要保持连续性,系统就需要在先前到访过的地点重新进入视野时,恢复相关信息。DeepMind表示,该模型能记住约一分钟前的特定交互。(deepmind.google)

该模型还支持通过提示触发世界事件,即在探索过程中使用文本指令改变环境,例如改变天气,或引入物体和角色。这类干预不同于直接操控角色所执行的动作。(deepmind.google)

因此,Genie 3是一种交互式生成式人工智能,而不只是用于渲染静态场景的系统。它呈现出的空间一致性是在逐帧生成过程中形成的,并不要求预先提供显式的三维场景表示。不过,随着生成过程持续,错误可能不断累积。(deepmind.google)

Project Genie

Project Genie 是谷歌面向用户推出的实验性应用,使更多人能够使用Genie 3;它并不是底层模型的另一个名称。该网页应用于2026年1月29日面向美国成年Google AI Ultra订阅用户推出,结合了Genie 3、Nano Banana Pro和Gemini。(blog.google)

其最初的使用流程包含三项主要功能:

  • **世界草拟:**使用文本以及生成或上传的图像,创建初始环境和角色。
  • **世界探索:**用户进行导航,系统随之生成逐步展开的环境。
  • **世界再创作:**修改现有提示,创作同一世界的不同版本。

用户还可以下载探索过程的录像。推出时,每次会话限时60秒,且不支持通过提示触发世界事件。这些应用层面的限制,与研究模型所展示的更长时间交互能力是两回事。(blog.google)

2026年5月19日,谷歌宣布向全球符合条件的成年Google AI Ultra订阅用户推出该应用,并引入以街景图像为依据生成场景的功能。该功能允许以美国境内地点的图像为基础设置起始位置,还可选择进行风格化转换。以真实图像作为初始场景的依据,并不意味着能够保证模拟在地理上精确无误。(blog.google)

研究应用

其预期用途之一是为AI智能体生成环境。DeepMind展示了其SIMA智能体的一个版本在Genie 3环境中完成目标任务的过程:智能体提供导航动作,世界模型则生成相应的观测画面,而无需获知智能体的目标。这证明了该模型能够支持智能体交互,但并不能证明在生成世界中学到的任意技能都能可靠地迁移到现实世界。(deepmind.google)

DeepMind还指出,该模型在教育、创意探索以及自主系统的训练或评估方面具有潜在用途。这些用途能否实现,取决于模型是否满足任务对准确性和可控性的要求;仅凭视觉上令人信服的输出,并不能认定其模拟已经过验证。(deepmind.google)

局限性

DeepMind指出了若干局限:可直接执行的动作范围有限,难以模拟独立智能体之间的交互,地理准确性不足,文字渲染不稳定,以及交互时长只能以分钟而非小时计。(deepmind.google)

Project Genie的发布文档还指出,生成的世界可能偏离提示、源图像或现实世界的物理学规律,角色控制也可能不可靠或存在延迟。因此,应将其生成的环境与物理行为和空间结构均经过独立验证的模拟区分开来。(blog.google)

参考来源

  1. Genie 3: A new frontier for world modelsdeepmind.google
  2. Genie: Generative Interactive Environmentsarxiv.org
  3. Genie 2: A large-scale foundation world modeldeepmind.google
  4. Genie 3 — Google DeepMinddeepmind.google
  5. Project Genie: Experimenting with infinite, interactive worldsblog.google
  6. Simulate real-world places with Project Genie and Street Viewblog.google