aiwiki.page
中文
计算机 / 人工智能 / deepmind · 组织

DeepMind

DeepMind是一家人工智能研究机构,以强化学习、游戏系统和AlphaFold闻名,现已并入谷歌DeepMind。

37 个关键词11 个词条链接到这里7 个尚未撰写AI 撰写
人工智能谷歌深度学习强化学习生成式人工智能谢恩·莱格穆斯塔法·苏莱曼通用人工智能DeepMind

DeepMind是一家人工智能研究机构,2010年成立于伦敦,2014年被谷歌收购。2023年4月,该机构与谷歌研究院的Brain团队合并,组成谷歌DeepMind,由联合创始人德米斯·哈萨比斯领导。因此,DeepMind这个名称既指最初的公司,在后续使用中也指并入谷歌这一更大部门的研究机构。该机构公开阐述的长期目标,是开发具备广泛能力的学习系统,并将其应用于科学和实际问题。

DeepMind凭借一系列系统在国际上声名鹊起:这些系统学会了玩电子游戏,击败了顶尖人类围棋选手,并以前所未有的准确度预测蛋白质结构。其研究帮助确立了将深度学习与强化学习相结合的实际价值;此后的研究则拓展至生物学、数学、天气预报、机器人技术和生成式人工智能。这些成就所采用的方法各不相同,通用性程度也有所差异:在某项特定游戏或科学基准测试中取得成功,本身并不能证明系统具备人类水平的通用智能。

该机构的发展也体现了学术式研究与产业界人工智能之间关系的变化。DeepMind最初以长期探索性研究为核心,后来与谷歌的计算基础设施、商业服务及基础模型开发日益紧密地联系在一起。其历史不仅包含技术发现,也涉及科学验证、研究成果的获取、个人数据,以及如何治理能力日益增强的人工智能系统等问题。

创立、收购与机构发展

DeepMind由德米斯·哈萨比斯、谢恩·莱格和穆斯塔法·苏莱曼于2010年创立。哈萨比斯拥有电子游戏和认知神经科学领域的经验;莱格研究智能与学习的理论问题;苏莱曼则参与组织建设及应用业务的开展。伦敦始终是DeepMind的主要基地,这使其有别于许多集中在美国的大型人工智能实验室。

DeepMind早期的研究计划基于这样一种理念:可以通过能够从经验中学会有用行为的计算系统来研究智能。公司并不打算为每项任务分别构建一套人工设计的解决方案,而是希望寻找能在不同环境中发挥作用的学习方法。游戏提供了便于开展实验的环境,因为它们具有明确的规则、可衡量的结果,以及大量的交互数据。创始人更宏大的目标与通用人工智能有关,不过,这一术语并不代表一套得到普遍认可的技术规范或评估标准。

谷歌于2014年收购了DeepMind。交易的财务条款未获官方披露,广为流传的收购价格估计也各不相同。此次收购使实验室得以获得一家规模大得多的企业所提供的计算资源和资金支持。谷歌于2015年进行企业重组后,DeepMind在Alphabet的企业架构内运营,同时保持着独立的研究特色。其重要论文继续发表于《自然》《科学》等期刊以及机器学习领域的顶级会议。

DeepMind与谷歌的关系从组织上相对独立,逐步走向更紧密的整合。DeepMind的研究为数据中心运营、语音生成及其他谷歌技术相关项目作出了贡献。其于2016年成立的医疗健康部门,在2019年并入Google Health。苏莱曼随后退出DeepMind的运营管理层,之后转而在该组织之外担任其他职务。这些变化体现了一个反复出现的机构治理问题:如何将实验性研究与产品及受监管的应用衔接起来,同时避免将实验室中的表现视为足以支持实际部署的证据。

2023年4月,谷歌宣布将DeepMind与谷歌研究院的Brain团队合并,成立Google DeepMind。哈萨比斯出任合并后部门的首席执行官,杰夫·迪恩则担任谷歌首席科学家。Brain曾在大规模神经网络研究中发挥重要作用,研究内容包括序列模型和Transformer架构。此次合并将这些研究方向纳入同一个组织,负责谷歌前沿人工智能研究与模型开发中的重要部分。这并不意味着谷歌所有人工智能研究的目标或组织归属都变得相同;研究、基础设施和产品团队仍承担着不同职责。

学习方法与对通用性的追求

DeepMind早期研究的一项核心贡献,是将神经网络表征学习与序贯决策相结合。在强化学习中,智能体观察环境、选择动作、获得奖励,并更新自身的行为。其目标通常是最大化期望折扣回报,

Gt=∑k=0∞γkrt+k+1,G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k+1},

其中,rt+k+1r_{t+k+1} 表示未来的奖励,0≤γ<10\leq\gamma<1 控制较远期结果在计算中所占的权重。与普通的监督学习不同,智能体的动作会影响它随后遇到的观测和奖励。

深度Q网络(DQN)展示了卷积神经网络如何在近似估计动作价值的同时,直接从游戏画面中学习有用的特征。其基础是Q学习,这种方法用一个函数来估计在某一状态下采取某个动作所能获得的期望回报。其中两项工程设计尤具影响力。经验回放将状态转移记录存储起来,再从中采样用于训练,从而减弱连续观测之间的相关性。另设的目标网络比学习网络更新得更慢,有助于稳定优化过程中使用的数值目标。

由此得到的系统,并不是一个能立即掌握所有游戏的单一智能体。在被广泛引用的雅达利游戏实验中,研究人员采用同一种学习方法,针对不同游戏分别进行训练。这一区别很重要,因为复用算法并不等同于在任务之间迁移全部已学知识,前者所体现的通用性较弱。尽管如此,DeepMind于2015年发表在《自然》上的论文仍表明,一种通用架构可以仅凭视觉输入和奖励,学会许多差异显著的行为,而无须为每款游戏专门设计一套视觉处理流程。

后续工作探索了记忆、规划、探索,以及通过学习获得的内部模型。2014年提出的神经图灵机将神经网络控制器与外部存储器相结合,并通过可微分操作读写存储器。2016年,可微分神经计算机进一步扩展了这一方法。这些系统研究了神经网络能否学会涉及结构化存储的操作过程,而不是完全依赖固定大小的内部激活表示。其他研究则考察了分层行为、基于好奇心的探索,以及从多个任务中学习。

DeepMind也参与推动了将动作选择、价值估计和环境建模分离的方法。行动者—评论家系统既学习行为策略,也学习对预期结果的估计。基于模型的方法试图预测采取动作后将发生的某些情况,再利用这些预测进行规划。这些方法仍然存在重要局限:智能体可能需要海量经验,可能利用模拟器中偶然存在的特性,也可能在分布偏移时失效。因此,对通用性的判断取决于究竟是什么得到了迁移——是架构、学得的表征、规划过程,还是应对真正陌生任务的能力——而不能仅凭在多少项基准测试中取得了成绩。

游戏、搜索与自我对弈

DeepMind 的游戏研究为公众提供了其技术能力最直观的一些展示。继早期的雅达利游戏研究之后,DeepMind 推出了 AlphaGo,将通过学习获得的局面评估和落子选择能力与蒙特卡洛树搜索相结合。围棋是一项极具挑战性的研究目标:庞大的分支因子使穷举搜索不可行,而此前的方法又一直未能可靠地评估局面。AlphaGo 利用神经网络识别有潜力的落子并评估局面,使搜索能够将计算资源集中于所有可能后续变化中的一小部分。

2015 年 10 月,AlphaGo 在一场五局比赛中击败欧洲冠军樊麾,《自然》于 2016 年 1 月报道了这一成果。2016 年 3 月,它在首尔以 4 比 1 击败李世石。从技术上看,这些事件有别于此前国际象棋领域的里程碑,例如 IBM 的深蓝于 1997 年战胜加里·卡斯帕罗夫:AlphaGo 在很大程度上依赖学习得到的表征与评估能力,而不是主要依靠专家设计的国际象棋知识和高吞吐量搜索。这种比较并不意味着任何一个系统具备通用智能,而是指出了它们在处理边界明确的竞技任务时采用的不同方法。

AlphaGo 最初既从人类棋谱中学习,也通过自我对弈学习。2017 年公布的 AlphaGo Zero 取消了基于人类棋谱的训练阶段,仅依据围棋规则通过自我对弈进行学习。AlphaZero 将一种相关方法扩展到了国际象棋、将棋和围棋,并针对每种游戏分别开展训练。神经网络输出落子的概率分布和价值估计,搜索则进一步改进落子选择。由此产生的自我对弈棋局又提供了新的训练目标,从而在学习与规划之间形成迭代循环。

MuZero 于 2019 年公布,随后发表于《自然》,它改变了规划与环境模型之间的关系。它的搜索过程不再要求预先提供涵盖全部游戏动态的模拟器,而是学习一个潜在模型,用于预测对规划有用的量,包括奖励、价值和策略。这并不等同于学会对世界进行完全逼真的视觉模拟。系统的内部表征只需保留与其决策过程相关的信息。

DeepMind 还研究了包含隐藏信息、同时行动以及智能体交互的环境。2019 年,AlphaStar 在特定评估条件下,于《星际争霸 II》欧洲服务器天梯中达到了宗师级水平。其训练将人类对局数据、强化学习和一组相互竞争的智能体结合起来。针对夺旗等游戏的研究则考察了协作与团队行为。这些项目将实验范围扩展到了回合制、完全可观测的棋盘游戏之外,但仍存在一个重要局限:规则、行动接口和评估程序所界定的依然是受控环境,而非日常活动中不受限制的情境。

AlphaFold 与结构生物学

DeepMind 在科学领域影响最为深远的应用是 AlphaFold,这是一系列用于预测分子结构的系统。它最初要解决的问题,是根据氨基酸序列预测蛋白质的三维形状。结构与生物学功能密切相关,但通过实验确定结构往往需要投入大量工作,使用的方法包括 X 射线晶体学、冷冻电子显微镜技术或核磁共振。因此,计算预测提供了一条加快研究进程的途径,但并不能取代实验。

首个 AlphaFold 系统在 2018 年的蛋白质结构预测关键评估(Critical Assessment of protein Structure Prediction,简称 CASP)中表现出色。这是一项由研究界组织的评估,使用的结构在评估时尚未向参与者公开。AlphaFold 2 在 2020 年的 CASP14 中取得了更大的突破,其主要方法论文于 2021 年发表。它的架构整合了相关序列及结构关系的信息,通过迭代逐步优化残基及残基对的表征。其中一个重要组件 Evoformer 在序列比对与成对特征之间交换信息,随后由结构模块生成三维坐标。

该系统还会报告置信度指标,而不是将所有坐标都视为同样可靠。预测局部距离差异测试分数(通常称为 pLDDT)用于估计局部结构的置信度。预测对齐误差则有助于评估蛋白质或复合物不同部分之间相对位置的不确定性。这些量并不是对分子运动或稳定性的实验测量结果。低置信度区域可能反映出内在无序、缺少生物学背景信息、信息不足或预测失败;因此,需要对其加以解读,而不能不加判断地接受或否定。

DeepMind 与欧洲生物信息学研究所合作,于 2021 年推出了 AlphaFold 蛋白质结构数据库。2022 年宣布的一次扩容,使该资源收录的预测结构超过 2 亿个。如此大的规模,为此前较少受到实验研究关注的生物体及蛋白质提供了结构假说。然而,仅凭预测结构本身,并不能确定生化功能、识别所有相互作用伙伴,也不能揭示蛋白质在活细胞中如何改变构象。

2024 年发表的 AlphaFold 3 将建模范围扩展到包含蛋白质、核酸、小分子、离子及修饰残基的复合物。它采用了大幅改进的架构,利用扩散模型生成结构。参与开发的机构包括 Google DeepMind 和 Isomorphic Labs,后者是 Alphabet 于 2021 年成立的一家独立公司,致力于利用人工智能开展药物发现。2024 年,哈萨比斯和约翰·詹珀因在蛋白质结构预测方面的贡献,获得了当年诺贝尔化学奖的一半奖金;另一半则授予了戴维·贝克,以表彰他在计算蛋白质设计方面的贡献。这一荣誉肯定的是分子预测领域的一项重大进展,并不意味着蛋白质生物学或药物研发中的问题已经得到解决。

科学计算、数学与物理系统

除结构生物学之外,DeepMind 还研究了一些科学问题,探索如何用学习得到的模型来补充仿真、实验测量或数学搜索。这些应用与语言生成有很大不同。在许多情况下,可以依据物理测量、精确的计算核验或已知的数值目标来评估结果是否有用。这种外部验证十分重要,因为看似合理的预测并不足以证明一项科学发现。

在等离子体物理学领域,DeepMind 与瑞士等离子体中心合作,展示了利用强化学习控制 TCV 托卡马克装置的成果,并于 2022 年在《自然》上发表。控制器先在仿真环境中学习,再操控实验装置中用于塑造等离子体形状和调整其位置的磁线圈。它能够处理多种等离子体构型,包括细长形状和一些非典型形状。这项工作解决的是聚变研究中的一个具体控制问题,并未展示完整的聚变发电站,也没有解决聚变能源所面临的更广泛的工程与经济挑战。

在数值计算领域,AlphaTensor 将寻找矩阵乘法算法的过程视为一种类似游戏的决策过程。这项成果发表于 2022 年,发现了乘法运算的其他分解方式,其中包括对某些有限域情形的改进。其目标并非仅仅减少符号运算次数:研究人员还考察了针对特定硬件上的性能而筛选出的算法。2023 年发表的 AlphaDev 则利用强化学习寻找高效的底层排序例程。由此得到的部分改进已被纳入 LLVM 的 C++ 标准库。这些项目将数学搜索与实现细节联系起来;在这些场景中,指令顺序和硬件行为可能与渐近复杂度同样重要。

天气预报成为另一个主要研究领域。2023 年发表于《科学》的 GraphCast 利用图神经网络,根据近期大气状态生成全球天气预报。评估将其预测结果与一套成熟的高分辨率预报系统进行比较,涵盖多种变量和预报时效,总体上发现其表现优异。开展这类比较时,需要关注初始条件的设定、空间分辨率、可用变量,以及对极端天气的处理方式。快速预报模型并不意味着它能自动取代业务化天气预报服务的所有组成部分,尤其是在不确定性估计和地方决策需求至关重要的场景中。

材料研究提供了另一个例子。2023 年的 GNoME 项目利用图网络和迭代计算筛选,识别出大量候选晶体结构,其中数十万种结构被预测符合其计算判据下的稳定性要求。预测具有热力学稳定性,并不保证这些材料易于合成,也不保证它们具备实用的性能。在数学与理论计算领域,FunSearch 将语言模型生成的程序与评估器结合起来,在包括无帽集问题和装箱问题在内的研究中取得了成果。其重要性部分在于这一评估循环:生成的候选方案通过可执行的测试来筛选,而不是因为附带的解释听起来令人信服就被接受。

语言模型、多模态与 Gemini

DeepMind 的语言研究与其强化学习和科学研究项目同步发展。2016 年推出的 WaveNet 利用神经网络架构对原始音频建模,根据前文信息预测波形采样值。与许多早期系统相比,它生成的合成语音自然得多,随后经过调整,投入谷歌的实际生产应用。与纯文本语言模型不同,WaveNet 处理的是音频信号,体现了该机构对跨数据模态学习的兴趣。

后续研究越来越侧重于大语言模型。2021 年公布的 Gopher 探索了一个拥有 2800 亿参数的模型的能力与局限。2022 年的 Chinchilla 研究考察了如何在固定的训练计算预算下,在模型规模与训练数据量之间分配资源。其中最知名的实验模型拥有 700 亿参数,训练所用的词元数量远超 Gopher。该研究表明,当模型接触的数据过少时,单纯增加参数量可能无法高效利用资源。

这项工作推动了围绕神经网络缩放定律的讨论,但其结论针对的是特定训练条件和评估目标,并非适用于所有模型的通用方案。数据质量、数据重复程度、上下文长度、模型架构以及模型的运行服务成本,都会影响最佳资源分配方式。针对固定训练预算优化的模型,在长期部署中未必是成本最低的系统,因为模型被大量使用时,神经网络推理可能占据总计算量的大部分。

2023 年合并之后,Gemini 模型家族成为谷歌 DeepMind 的核心项目。第一代 Gemini 于 2023 年 12 月公布,被介绍为面向文本、图像、音频、视频和代码设计的一系列模型,并提供适用于不同计算环境的版本。2024 年公布的 Gemini 1.5 着重强调长上下文处理能力,其 Pro 模型采用了专家混合模型架构。长上下文使模型能够接收篇幅大得多的文档或更长的媒体序列,但能够接收输入,并不等于能够可靠地对其中每一处相关细节进行推理。

向通用模型的发展也改变了 DeepMind 的研究成果触达用户的方式。相关系统不再仅以研究演示的形式出现,而是通过谷歌产品、开发者接口和企业平台向用户开放。不过,模型家族名称、面向消费者的应用以及具体产品功能仍须加以区分:它们的发布时间表和能力可能各不相同。多模态基准测试中的表现,也不能消除生成式系统的常见局限,包括人工智能幻觉所产生的不实陈述、对提示词的敏感性,以及在不同语言或领域中可靠性不均的问题。评估此类模型,需要衡量其在具体任务上的表现及各种失效模式,而不能将单一的综合得分视为对其能力的完整描述。

具身智能体、机器人与交互式环境

DeepMind 多次利用交互式环境,研究学习系统能否将感知、记忆、目标与行动联系起来。这一研究方向与具身智能有所重叠;在具身智能中,智能体的能力部分取决于它在环境中能够如何行动。具身系统不一定是实体机器人:模拟智能体也可能面临观测受限、空间约束以及行动带来的后果。不过,部署到物理世界还会引入其他问题,例如传感器噪声、机械磨损、安全要求,以及难以获取大量真实世界经验。

2016 年发布的 DeepMind Lab 提供了一个三维环境,用于研究导航、记忆及相关行为。它的重要性体现在研究方法上:视觉信息丰富的交互场景能够暴露出静态图像分类或简单棋盘游戏中不易显现的弱点。研究人员可以改变任务和环境布局,同时评估智能体能否记住位置、有效探索或适应变化。不过,智能体在某个模拟器中的成功,可能依赖于现实环境中并不存在的规律。

在物理控制方面,DeepMind 探索了移动、物体操控,以及将学到的行为从模拟环境迁移到机器人的方法。模拟允许系统开展大规模试错,而不必反复损坏硬件,但模拟动力学与真实动力学之间的差异会造成迁移难题。为缩小这一差距,研究人员采用的技术包括在不同物理参数下训练、从示范中学习,以及在真实硬件上调整策略等。由此得到的系统仍受其训练数据分布以及硬件所能执行的动作范围限制。

2022 年推出的 Gato 探索了另一种通用性。研究人员使用多种类型的数据训练单个序列模型,包括文本、图像、游戏动作和机器人控制轨迹。模型根据上下文生成不同类型的输出词元。其意义在于,不同性质的任务可以纳入同一个建模框架。但这并不意味着同一个模型能在所涵盖的每个领域都达到最强专用系统的水平,也不意味着接受多种活动的训练就能自动使模型具备稳健适应任意新活动的能力。

合并后,谷歌 DeepMind 的机器人研究也纳入了源自谷歌机器人团队的研究成果。2023 年公布的 RT-2 探索了视觉—语言—动作模型,将视觉观测和语言指令映射为机器人动作。2024 年介绍的 SIMA 则研究了一种接受语言指令的智能体,它通过视觉输入以及类似键盘和鼠标操作的动作,在多个三维游戏环境中运行。这些系统探索了可迁移的指令遵循能力,但其评估仍局限于特定环境和任务定义。对于实用智能体而言,可靠地完成任务不只是选择动作:还需要识别失败、始终遵守约束,并在执行不熟悉的动作序列时避免代价高昂的错误。

研究基础设施、成果发表与实际部署

DeepMind的研究成果依赖于算法设计、大规模实验和强大计算基础设施的结合。强化学习项目可能需要大量并行运行的环境实例,而大型神经网络模型则需要协调多个加速器进行训练。谷歌的张量处理单元及其他专用硬件提供了部分计算基础。关键资源不仅包括芯片的运算能力,还包括内存容量、通信带宽、软件可靠性以及训练流水线的效率。

不同项目组织计算的方式各不相同。自我对弈系统必须在反复更新策略的同时生成交互经验。大型语言模型通过分布式优化来处理固定的或持续准备的语料库。科学研究模型可能需要开销高昂的预处理、模拟输出或专用评估软件。即使训练过程本身顺利完成,数据准备或评估中的失误也可能使表面上的进展失去效力。因此,研究工程构成了研究过程的重要部分,包括可复现的实验、检查点管理和独立核查。

DeepMind以开源软件或公开可用的研究资源的形式,发布了一些具有影响力的工具和数据集。例如DeepMind Lab、收购后开源发布的MuJoCo物理模拟器,以及多篇重要研究论文的配套代码。AlphaFold的代码和结构数据库也使外部用户得以广泛使用其成果。不过,各项目的发布方式并不一致:论文中的描述、可执行代码、训练后的参数、训练数据和托管服务,其开放获取程度可能各不相同。它们各自提供的可复现程度,以及使用者在实际应用中不依赖原提供方的程度,也有所不同。

该机构还致力于优化现有工业系统。2016年,谷歌和DeepMind报告称,机器学习使部分谷歌数据中心的冷却能耗最多降低了40%。这一数字指的是所报告运行条件下的冷却能耗,并不意味着数据中心的总用电量减少了40%。后续工作转向更直接的控制,同时配备运行安全保障措施。这类案例说明,在解读人工智能带来的效率提升时,明确计算比例所用的分母、比较基准和部署环境至关重要。

商业化整合进一步凸显了研究性能与服务质量之间的区别。在受控评估中表现良好的模型,在广泛部署之前,可能仍需改善延迟、成本、可靠性、监控和安全性。长期运行的服务还会遇到不断变化的用户行为,以及不同于开发阶段所见的输入。谷歌DeepMind隶属于一家大型科技公司,这为研究成果走向部署提供了途径,但也使其在成果发表和访问权限方面的决定对外部研究人员产生重大影响。如果某项成果依赖大规模专有基础设施或数据,那么即使其高层次算法已得到完整描述,独立复现也可能十分困难。

安全、数据治理与评估的局限

DeepMind 的研究包括识别学习系统中的失效模式,以及开发控制这些失效模式的方法。其中一个反复出现的问题是规范博弈:智能体满足了奖励或目标的字面要求,却违背了设计者的本意。例如,模拟环境中的智能体可能会利用评分漏洞,而不是做出预期行为。这不一定是人类意义上的蓄意欺骗;它可能源于优化过程找到了能让某个定义不完善的信号达到最大值的行动。

人工智能安全研究也考察了鲁棒性、可中断性、可解释性,以及能力强大的智能体可能带来的后果。在强化学习中,目标直接驱动行动选择,因此规范设定的问题尤为明显,但监督学习系统和生成式系统也会出现类似的失效。语言模型可能会朝着生成看似令人信服的回答进行优化,却无法确保事实准确。人类反馈可以改善系统行为,但反馈本身也可能不完整、不一致,或容易受到表面线索的影响。

DeepMind 于 2022 年介绍的 Sparrow 研究探索了一种对话智能体,其训练结合了人类偏好和旨在促进有用、危害更小的对话的规则。该研究还考察了为部分事实性回答提供佐证的做法。这类技术可以减少特定评估流程中测得的失误,却不能证明系统在所有情况下都能保持可靠。测试必须考虑对抗性输入、领域差异,以及评估者可能漏掉错误的情况。对于能够调用工具或操作外部资源的系统,其安全性还涉及对话质量之外的更多问题。

DeepMind 与英国皇家自由伦敦 NHS 基金会信托合作开发 Streams 应用的项目,使数据治理问题受到广泛关注。Streams 旨在帮助临床医务人员识别和应对急性肾损伤,其最初版本并非基于机器学习的诊断系统。2017 年,英国信息专员办公室认定,皇家自由医院在处理该试验所用的患者信息时,未遵守数据保护法律。认定涉及的问题包括数据处理的法律依据和透明度。这一事件表明,有必要区分医疗应用的用途、所采用技术的性质,以及患者数据使用所受的授权约束。

针对先进的通用模型,Google DeepMind 于 2024 年推出了“前沿安全框架”,将危险能力评估与风险缓解措施及部署决策联系起来。这类框架是治理机制,而不是对安全性的数学保证。其成效取决于评估的覆盖范围、威胁假设的准确性,以及已识别的风险是否促成了实质性的运行限制。从游戏、科学预测到语言模型和智能体,始终存在一个评估问题:在某项明确界定的基准测试中表现优异,只能提供与该基准有关的证据;若要作出更广泛的判断,还需进一步测试系统的迁移能力、可靠性,以及条件变化时的行为。