AlphaGo Zero 是 DeepMind 开发的用于下围棋的人工智能系统。该系统于 2017 年 10 月在《自然》论文《无需人类知识即可精通围棋》中首次亮相,通过自我对弈进行强化学习,而非从人类对局范例中学习。它将神经网络与树搜索相结合,超越了早期版本的 AlphaGo。名称中的“Zero”指的是训练中不使用人类棋谱和人工编写的策略知识,而不是说它没有采用人类设计的规则、架构或算法。
背景与开发
早期的 AlphaGo 系统结合了多种学习与搜索技术。2016 年击败李世石的版本,最初利用人类棋谱进行监督学习,学习预测高手的落子。随后,强化学习进一步提高了它的棋力,而相互独立的策略网络和价值网络则为搜索提供支持。其搜索还使用了称为“快速模拟”(rollout)的过程,以辅助评估局面。
AlphaGo Zero 取消了以人类棋谱进行训练的阶段,将策略预测与价值预测合并到同一个网络中,并去除了快速模拟。它从随机初始化的网络参数出发,通过自我对弈生成自己的训练数据。
2017 年论文的作者包括大卫·西尔弗、朱利安·施里特维瑟、卡伦·西蒙尼扬和德米斯·哈萨比斯。论文的核心成果表明,不依赖人类示范的学习方式,可以超越以专家范例作为训练起点的系统。
学习架构
棋盘表示与神经网络
AlphaGo Zero 使用深度残差神经网络。这是一种卷积神经网络,其连接结构有助于训练层数较多的网络。
输入描述棋盘局面,包括近期的棋盘历史状态以及当前轮到哪一方落子。与早期 AlphaGo 版本不同,它不包含“气”或特定战术棋形等人工设计的策略特征。不过,它仍然使用了专门为围棋设计的表示方式。
对于局面 ,网络产生两个输出:
其中:
- 表示网络学习得到的参数。
- 是各落子选择上的概率分布,称为策略输出。
- 从当前落子方的视角估计棋局的最终结果。
策略引导搜索关注有潜力的落子,而价值估计则用于评估局面,无需将每条探索的变化都下到终局。
搜索引导的自我对弈
为了选择落子,AlphaGo Zero 利用当前网络运行蒙特卡洛树搜索。搜索构建一棵局部的博弈树,反复执行选择落子、扩展局面、用网络评估局面,以及将评估结果沿树反向传播的过程。
选择过程在两个目标之间取得平衡:一是探索网络认为有潜力的落子,二是利用搜索中已经获得良好评价的落子。尽管这种方法名为蒙特卡洛树搜索,AlphaGo Zero 并不使用早期 AlphaGo 系统中的快速随机模拟。
搜索根据不同落子的访问次数,生成落子分布 。与网络单独给出的策略预测相比,这一分布通常能提供更好的训练目标。
在自我对弈过程中,系统通过向根节点的落子概率添加噪声来鼓励探索。落子选择方式也随棋局阶段而变化,既让训练对局保持多样性,又使后期落子更加果断。
训练目标
每盘完成的自我对弈棋局都会提供训练样本,其中包含:
- 棋盘局面 ;
- 由搜索得到的落子分布 ;
- 棋局最终结果 ,以该局面下当前落子方的视角表示。
网络使用一个组合损失函数进行训练:
第一项用于训练结果预测。第二项用于训练策略,使其匹配搜索得到的分布。最后一项对网络权重施加正则化,其强度由 控制。
参数通过基于梯度的优化方法和反向传播进行更新。策略学习部分使用搜索生成的目标,而非人类落子标签;整体学习过程属于强化学习,因为系统通过与棋局环境交互,并利用最终结果来改进自身。
迭代改进过程
AlphaGo Zero 交替进行经验生成与经验学习:
- 当前最优网络引导自我对弈中的搜索。
- 完成的棋局提供局面、搜索分布和结果。
- 训练产生候选网络。
- 候选网络与当前最优网络对弈,接受评估。
- 实力提升足够明显的候选网络成为生成后续棋局所用的网络。
在论文公布的流程中,候选网络只有在评估对局中取得超过 55% 的胜率,才会取代当前最优网络。
这形成了一个反馈循环:更好的网络引导更好的搜索,更好的搜索产生更强的策略训练目标,而基于这些目标的训练又进一步改进网络。同时,棋局的终局结果用于训练价值输出。
这一过程与策略迭代密切相关:搜索充当策略改进算子,而网络训练则用于近似改进后的策略及其价值函数。
报告的性能
原始论文描述了多次训练实验,而非单一固定模型。
| 训练实验 | 报告的结果 |
|---|---|
| 三天训练 | 生成约 490 万盘自我对弈棋局,并以 100 比 0 击败曾与李世石对弈的版本 AlphaGo Lee |
| 四十天训练 | 生成约 2,900 万盘自我对弈棋局,并以 89 比 11 击败 AlphaGo Master |
AlphaGo Master 是比 AlphaGo Lee 更强的前代系统。因此,这两项结果涉及不同的对手,也对应 AlphaGo Zero 开发过程中的不同阶段。
三天和四十天的实验还使用了不同规模的网络。不应将其结果理解为同一次训练过程中、其余条件均保持不变的两个时间点。
论文报告,对弈时使用的是一台配备四个张量处理单元的机器。这一配置并不代表生成自我对弈数据和训练网络所需的全部资源。对弈硬件、训练硬件与累计计算量是不同的衡量指标。
“无需人类知识”的含义
AlphaGo Zero 不从人类棋谱、人类编写的布局库或人工指定的围棋策略中学习。不过,它仍然依赖大量由人类设计的结构:
- 围棋规则与合法落子;
- 棋盘表示方式和神经网络架构;
- 搜索流程;
- 训练目标与优化过程;
- 探索设置与模型评估标准;
- 处理训练样本时利用的棋盘对称性。
因此,该系统展示的是不依赖人类高手对弈范例的学习,而不是没有先验假设的学习。其架构和流程提供了归纳偏置,使这一学习问题变得可处理。
它的网络采用随机初始化,但其环境与学习机制并不是从零开始自行发现的。
与 AlphaZero 的关系
2017 年晚些时候推出的 AlphaZero 将这一核心方法从围棋扩展到了国际象棋和将棋。AlphaGo Zero 专门针对围棋进行设计和评估;AlphaZero 则将该框架适配到规则与动作空间各不相同的多种棋类游戏。
两套系统在训练细节上也有所不同。例如,AlphaZero 使用持续更新的网络进行自我对弈,没有保留 AlphaGo Zero 中用于决定是否替换最优网络的评估门槛。因此,这两个名称不能混用。
意义与局限
AlphaGo Zero 提供了一个引人注目的实例:系统可以通过自行生成的经验,而非模仿人类示范,形成专家级行为。它还展示了学习得到的策略、学习得到的价值函数与显式搜索如何在同一个系统中相互促进。
不过,它的成功依赖于任务本身的一些有利特性。围棋的状态完全可观测,合法动作定义精确,状态转移具有确定性,终局结果也明确无歧义。自我对弈可以生成大量有效交互,而无需承担实体实验的成本或风险。
许多其他应用并不具备这些条件。现实环境可能存在观测不完整、动态变化不确定、行动代价高昂等问题,其目标也可能无法简化为赢得一局游戏。将同一方法用于其他领域,需要解决这些差异带来的问题。
AlphaGo Zero 的结果也不能证明人类生成的数据通常都不再必要。它所证明的是:在具有可靠模拟器和明确目标的领域中,资源投入充足的自我对弈,可以超越某种部分依赖人类示范的方法。它在比赛中的胜利也不等于从数学上解决了围棋:系统学到的是极其强大的对弈策略,而不是证明了从每一种局面出发的最优下法。