Project Mariner 是 DeepMind 的一项研究项目,致力于开发能够浏览网站并代表用户执行任务的 AI智能体。该项目于 2024 年 12 月与 Gemini 2.0 模型系列一同公开亮相,探索 AI 系统如何理解浏览器界面、规划一系列操作并与网页交互,而不只是告诉用户应该怎么做。不同实验版本的功能和部署方式有所变化。
起源与发展
谷歌将 Project Mariner 作为其开发能力更强、以行动为导向的 AI 助手的工作之一进行介绍。最初的原型采用 Gemini 2.0,通过一个实验性的谷歌浏览器扩展程序运行。它仅向少量测试者开放,并未作为面向所有用户的浏览器功能发布。
2024 年 12 月的演示重点展示了系统理解浏览器中可见信息并据此执行操作的能力,这些信息包括文字、图像、表单及其他界面元素。该原型能够利用这些信息执行一系列浏览器操作,用户则可以监控其进度。
2025 年 5 月,谷歌介绍了一个更新版本,能够在云端托管的浏览器中运行,同时处理最多十项任务。谷歌还推出了“示教与复现”功能,旨在让智能体通过演示学习工作流程,并将其应用于类似任务。这些发布内容表明,项目已超出最初仅在当前活动浏览器标签页中运行的原型范围,但并不能证明它在所有网站或任务中都能可靠运行。
工作原理
Project Mariner 将大语言模型、多模态界面理解能力与浏览器操作执行机制相结合。其突出特点在于将信息理解与实际行动衔接起来。
典型的浏览器智能体工作流程包括以下几个阶段:
- 理解请求。 系统将自然语言指令转化为可执行的目标。
- 观察界面。 检查当前页面,识别相关内容、导航控件和输入字段。
- 选择操作。 决定是点击、输入、滚动、跳转,还是收集更多信息。
- 检查结果。 观察更新后的页面,并调整下一步操作。
- 返回结果或请求介入。 报告执行结果,或在需要进一步授权或澄清时暂停。
这种反复进行的“观察—行动”循环,不同于预先生成一份固定的操作步骤清单。网站可能在每次操作后发生变化,因此智能体必须根据中间结果作出反应。
任务及其与其他软件的关系
Mariner 面向的任务类型是万维网上的多步骤工作,包括跨页面查找信息、比较不同选项、向表单中填写信息以及汇总结果。这类任务将信息收集与交互操作结合在一起。
传统的网页浏览器提供供人浏览和操作的界面,而浏览器智能体则尝试根据用户提出的高层次请求,自行选择并执行其中一些交互操作。类似地,搜索引擎主要负责检索相关资料,而智能体在找到资料后还可能继续采取行动。
通过浏览器进行交互,也不同于通过应用程序编程接口进行集成。应用程序编程接口(API)提供结构化的软件接口;浏览器智能体则可以通过为人设计的界面开展工作。这使自动化能够扩展到没有合适 API 的服务,但也使其表现取决于页面布局、导航方式及界面的变化。
可靠性、监督与安全
完成一项耗时较长的任务,所需的不只是正确识别各个按钮。智能体必须始终围绕用户的目标行动,区分相关信息与干扰内容,从意外的页面状态中恢复,并判断某项操作是否真正成功。早期步骤中的错误可能传递到后续决策中。生成的解释或提取的事实也可能包含人工智能幻觉。
因此,用户监督是该项目设计的重要组成部分。最初的原型限制了某些敏感操作,包括完成购买的最后步骤,并强调让用户保持控制权。不能想当然地认为,某个原型所规定的限制会原封不动地适用于后续版本。
一个核心安全问题是提示注入:网站可能包含试图诱导智能体偏离用户指令的文字。与普通读者不同,智能体可能有能力根据这些文字采取行动。因此,必须区分不可信的网页内容与合法指令。
浏览器智能体还会引发数据隐私和授权方面的担忧,因为执行任务可能涉及账户会话、个人信息,或会产生重大影响的更改。因此,评估时不仅要考虑任务是否完成,还要考察智能体是否遵守权限要求、避免未经授权的操作,并确保用户保有控制权。