AlphaZero 是由 DeepMind 开发的博弈系统,将强化学习、人工神经网络与搜索相结合,从自身生成的经验中学习高水平的对弈策略。该系统于 2017 年 12 月首次公布,随后在 2018 年 12 月发表于《科学》的一篇扩展论文中得到详细介绍。它无需使用人类棋谱进行训练,就在国际象棋、将棋和围棋中达到了超人水平。每种棋类都单独训练一个模型,但所用的学习与搜索框架基本相同。
其核心创新并不在于某个单一组件,而在于一个紧密结合的迭代改进循环:神经网络引导搜索;搜索得出比单靠神经网络更强的着法选择;这些选择再与对局结果一起,成为神经网络下一轮的训练样本。AlphaZero 表明,这一循环能够取代传统高水平棋类程序中很大一部分由人工设计的局面评估机制。它的意义不仅在于比赛成绩,也在于它提供了证据,表明在规则明确的环境中,可以通过一种可复用的方法来学习规划。
起源及其与 AlphaGo 的关系
AlphaZero 源于 DeepMind 为围棋开发的一系列系统。最初的 AlphaGo 融合了神经网络、搜索、人类棋谱和强化学习,其于 2016 年 3 月与李世石进行的对局引起了国际关注。它最初的落子预测网络通过监督学习从高手棋谱中学习,再通过进一步训练和自我对弈改善决策。不同的网络分别用于落子选择和局面评估,其搜索过程还使用了快速模拟后续走法的方法。
2017 年 10 月发表于《自然》的 AlphaGo Zero 不再需要人类棋谱。它从随机初始化的网络参数出发,完全通过自我对弈学习。它还简化了架构,使用单一网络提供两种输出:各个落子的策略概率分布,以及对当前局面的价值估计。搜索将这些输出转化为更优的决策,由此产生的对局又为下一轮训练提供训练数据。这确立了主要的学习机制,后来 AlphaZero 将这一机制推广到了其他棋类。
2017 年 12 月,由戴维·西尔弗及其同事主导的 AlphaZero 预印本将这一方法从围棋扩展到了国际象棋和将棋。这一点意义重大,因为这些棋类之间存在显著差异。国际象棋和将棋都有多种棋子,各类棋子的走法规则并不相同;将棋还允许将俘获的棋子重新投入棋盘。相比之下,围棋使用的是落在网格交叉点上、走法一致的棋子。因此,一种能适用于这三种棋类的方法,比局限于围棋的又一次改进更有力地证明了算法的通用性。
2018 年发表于《科学》的扩充版论文题为《通过自我对弈掌握国际象棋、将棋和围棋的通用强化学习算法》,报告了更多评测和分析。初步报告与最终发表版本应加以区分:两者的对局数量、测试条件及所报告的成绩并不相同。尤其是,广为流传的 100 局国际象棋比赛结果出自初步报告,而后来的正式论文则包含了与 Stockfish 进行的 1,000 局主要评测。
AlphaZero 并不是一个能在三种棋类之间自由切换的单一网络。每种棋类都需要独立的训练过程、输入表示、动作编码和训练所得的参数。能够迁移的是通用算法及其核心设计,而不是某个已训练模型的内容。AlphaZero 也没有自行发现这些棋类的规则。合法走法、状态转换和终局结果都由环境提供。它的成就在于,无需人类优秀棋局示范,也无需人工设计的局面评分系统,就能学会在这些规则之内下棋。
游戏、状态表示与先验知识
AlphaZero 的三个主要应用环境都是确定性的、双方轮流行动的双人完全信息游戏。双方都能观察到与对局有关的状态,走子的结果不取决于隐藏的牌或随机掷骰。这些特性使人们能够构建博弈树,其中分支代表合法行动,路径代表可能的后续进程。不过,由于这些树规模极其庞大,穷尽分析并不现实。
这三种游戏对状态表示提出了不同的要求。国际象棋使用 棋盘,规则包括王车易位、兵的升变、吃过路兵以及和棋判定。将棋使用 棋盘,设有升变区,还允许将俘获的棋子重新投入棋盘。标准围棋使用 的网格,规则涉及棋子的连通棋块、气、提子和局面重复。有效的状态描述必须保留与着法合法性及对局结果有关的信息,而不能仅仅记录棋盘上可见的棋子分布。
AlphaZero 将局面表示为一叠空间特征平面。这些平面编码了棋子的位置、近期局面的历史记录,以及各棋种特有的状态信息。例如,在国际象棋中,这种表示包含了与王车易位和行棋步数规则有关的信息。将棋则需要额外的特征来表示手中的持驹。这些输入以结构化数组的形式提供给网络,而不是实物棋盘的照片。
行动也采用固定的结构化形式编码。对于国际象棋,已发表的表示方法使用 个潜在着法条目,分别描述起始格和着法类型。在任何给定局面下,大多数条目都不合法,因此在构建搜索所用的着法分布时会被排除。围棋行动则更直接地对应棋盘上的落点,另外还包括停一手。这些编码使输出大小固定的网络能够表示随局面变化的合法选择集合。
因此,“从零开始学习”有其特定含义。AlphaZero 没有获得开局库、高手棋谱集、人工设定的棋子价值,或传统的局面评估项。它获得的是规则的程序实现、按空间组织的表示方式、网络架构和优化过程。这些都是相当重要的先验结构,尽管它们并不告诉系统哪一个合法着法最好。
这一区分将学习得到的战略知识与人工设计的问题表述方式分开。知道象沿斜线移动,属于规则;用数值体现对占据长斜线的偏好,则属于评估。AlphaZero 被赋予了前者,并从对弈结果中间接学会了后者。它的成果表明,这种区分在这些游戏中具有强大的效力,而不是表明系统完全不含任何人工设计。
神经网络架构与习得的评估能力
AlphaZero 使用了以残差架构为基础的深度卷积神经网络。卷积在不同空间位置应用学习得到的滤波器,因此适合处理棋盘局面,因为相似的局部关系会在棋盘的不同位置反复出现。残差连接使信息和梯度能够穿过众多网络层,从而有助于训练比单纯堆叠独立变换所构成的模型深得多的模型。
已发表的系统中,主网络采用由 19 个残差块组成的共享主干,其主要卷积层各有 256 个滤波器。两个通常称为“头”的输出分支负责解读由此得到的内部表示。策略头预测哪些着法更有潜力,价值头则从当前行棋方的视角估计预期对局结果。
将网络记为 ,其可训练参数记为 ,则其输出可表示为
其中, 是对局状态, 是编码后的动作上的概率分布, 是一个标量值。该数值采用的尺度将胜、和、负分别对应为 、 和 。它既不是子力总值,也不是对剩余着数的预测。
这两个输出在计算中各有用途。策略将搜索集中于一组相对较少的合理着法,而不是把计算资源平均分配给所有合法动作。价值则用于估计新遇到的局面有多有利,而不必从该局面出发完整地下完一盘棋。二者共享的内部表示,使有助于着法选择和结果预测的特征能够在训练过程中相互影响。
这不同于传统的启发式评估函数;后者由子力、兵形、机动性和王的安全等明确命名的组成部分构建而成。AlphaZero 能够表示这些因素之间的关系,却不将它们显式列为可单独调整的项。一次弃兵可能得到有利的评价,是因为弃兵后形成的局面预示着较好的对局结果,即使程序员从未为这种弃兵设定过特定的加分。
价值估计仍然取决于系统学到了什么,以及它所遇到的局面分布。它并不能证明,在双方都采取完美着法的情况下,某个局面客观上必胜或必和。同样,较高的策略概率表示的是学习得到的偏好,而非战术正确性的保证。之所以需要搜索,部分原因就在于直接的神经网络推理可能遗漏关键的后续变化。
这一架构也引入了有益的归纳偏置。空间卷积有利于复用局部模式,多层网络则将这些模式组合为更大范围的棋盘关系。这些设计选择有助于使学习变得可行,但也说明,采用通用的学习算法并不意味着其表示方式完全独立于具体任务。
蒙特卡洛树搜索与着法选择
AlphaZero使用由神经网络引导的蒙特卡洛树搜索(MCTS)来选择着法。搜索以当前局面为根节点,逐步构建一棵树。它不会将所有后续变化都搜索到相同深度,而是反复选择有潜力的路径,评估新到达的局面,并沿已探索的路径更新统计数据。
每条已探索的状态—动作边都存储着若干数值,包括访问次数 、平均动作价值 ,以及网络提供的先验概率 。一种典型的选择规则是选取使下式最大的动作:
其中,探索项的一般形式为
这一规则在两类着法之间取得平衡:一类已经获得较高的评估值,另一类则因先验概率较高而值得进一步探索。探索强度的具体调整方式和常数属于实现细节,但其核心机制是让学习得到的先验信息与搜索中积累的证据相互作用。
当一次模拟到达尚未展开的非终局局面时,网络会对其进行评估。网络输出的策略用于初始化新节点各着法的先验概率,输出的价值则沿访问路径反向回传。由于双方交替行棋,评估值的正负号必须始终按照各方的视角一致地解释。如果搜索到达真正的终局状态,就用已知的对局结果取代网络的估计值。
与早期的蒙特卡洛博弈搜索不同,AlphaZero不需要在每次模拟中都通过随机走子一直走到对局结束。借助神经网络的价值估计,模拟可以在新展开的局面处停止。这一点对国际象棋和将棋尤其重要,因为基本随机的后续走法难以反映局面的战略优劣,而且对局可能还会持续很多步。
在用完固定的搜索预算后,根节点各着法的访问次数便确定了一个改进后的着法分布:
其中, 控制分布向高访问次数动作集中的程度。训练时,通过采样和在根节点加入噪声来鼓励探索。正式对弈时,则倾向于选择搜索最为支持的着法。
这一过程不同于采用Alpha–Beta剪枝的传统极小化极大算法搜索;在神经网络评估得到广泛应用之前,后者一直主导着高水平国际象棋引擎。Alpha–Beta方法会剪去在当前界限下不可能影响极小化极大决策的分支。相比之下,AlphaZero依据学习得到的先验信息和搜索统计数据来分配模拟次数。两者都会有选择地推演可能的后续局面,但其评估机制以及分配计算资源的方式有所不同。
自我对弈与训练目标
学习过程从一个随机初始化的网络开始,起初它的判断并不能提供有用的信息。即使在这一阶段,规则也能确保生成的着法合法。搜索、探索和反复的自我对弈逐渐产生可供网络学习的样本。整个过程中,没有外部教师为每个局面提供专家着法。
对于自我对弈中出现的每个局面,系统都会记录一个训练样本,其中包含状态 、由搜索得出的着法分布 ,以及最终的对局结果 。结果从该状态下行棋一方的视角来表示。例如,白方获胜时,同一盘对局中轮到白方行棋的局面会获得正标签,轮到黑方行棋的局面则会获得负标签。
网络使用如下形式的组合损失函数进行训练:
第一项训练价值输出,使其能够预测对局结果。第二项训练策略,使其与搜索产生的改进后的着法分布相匹配。最后一项是正则化项,用于惩罚过大的参数值。通过反向传播计算出的梯度用于更新共享网络和两个输出头。
策略训练目标尤其重要。AlphaZero 并不只是强化恰好被选中的那一步棋,而是从搜索在各个候选着法上投入的计算量分布中学习。如果搜索大幅修正了网络最初的偏好,网络就会以修正后的判断为目标进行训练。从这个意义上说,搜索充当了一个反复生成的策略改进算子。
与此同时,价值训练目标来自实际完成的对局,而不是直接照搬先前的价值估计。这使学习以实际结果为依据。不过,网络仍然是在不断变化的数据分布下学习的:随着策略改进,它会生成不同的开局、中局和残局。因此,训练样本是其自身发展过程中内生产生的结果,而非取自某个固定的人类数据集。
由此形成的反馈循环可以概括为:网络引导搜索、自我对弈、收集对局结果、更新参数。它类似于广义策略迭代:评估与改进交替进行,但两者都不是精确执行的,而是都依赖于有限的计算和函数近似。
自我对弈也会带来困难。当前系统的两个实例可能具有相同的弱点,而探索性选择会影响系统遇到哪些局面。在搜索树根节点引入随机性,以及让大量生成的对局保持多样性,有助于拓宽经验,但这并不能证明所有具有战略重要性的可能性都已得到探索。这种方法在实践中的成功,取决于搜索质量、网络容量、优化过程以及自行生成的数据规模之间的相互作用。
计算规模与实验结果
AlphaZero 的成果需要大量计算资源。已发表的训练方法将大规模自我对弈任务分配到数千个张量处理单元(TPU)上运行,并使用另外的加速器进行神经网络优化。据报告,该配置使用了 5,000 个第一代 TPU 进行自我对弈,以及 64 个第二代 TPU 进行训练。这些数字描述的是训练所用的基础设施,而非评测期间每一步棋所需的资源。
据报告,训练共进行了 700,000 次更新,每次使用包含 4,096 个局面的小批量数据。生成这些训练样本需要同时进行大量对局。实际耗时取决于棋类、神经网络评估的吞吐量、搜索设置和硬件配置。因此,如果只说一个系统在多少小时内学会了某种棋类,却不说明使用了哪些计算资源,这样的表述就是不完整的。
2017 年 12 月的初步国际象棋实验因其与 Stockfish 8 进行的 100 局比赛而引起关注。AlphaZero 取得了 28 胜、72 和、零负的成绩。这一结果是在特定测试配置下取得的,其中包括用时规则和硬件资源分配;它并不意味着 AlphaZero 在其他条件下也绝不会输给 Stockfish。
2018 年发表的扩展研究报告了与 Stockfish 8 进行的 1,000 局国际象棋主要对抗赛,AlphaZero 的成绩为 155 胜、839 和、6 负。论文还考察了其他条件,包括不同的开局局面和资源配置。在将棋项目中,AlphaZero 的评测对手是实力强劲的引擎 Elmo。在围棋项目中,它的主要比较对象是一个作为基准的 AlphaGo Zero 系统。它在这三类棋类的对抗中均取得了胜绩。
国际象棋对比展示了搜索组织方式上的显著差异。据已发表的报告,在所述条件下,AlphaZero 每秒搜索约 80,000 个局面,而 Stockfish 约为 7,000 万个。这些数字所代表的计算工作量不能直接等同:AlphaZero 用神经网络评估一个局面所需的计算量,远大于传统国际象棋引擎评估一个典型搜索节点的计算量。这一比较表明,考察更多局面并非提高棋力的唯一路径,而不是确立了一个与硬件无关的效率比值。
训练成本与对弈成本也必须区分开来。训练完成的模型可以重复用于许多对局,但生成这个模型需要前期投入大量资源。因此,对抗表现所回答的问题,与这种方法能否在普通硬件上以经济可行的方式复现,是两个不同的问题。
这些实验展示了 AlphaZero 相对于当时特定对手的实力,而不是确立了它在所有未来引擎中永远不变的排名。论文发表后,引擎软件、神经网络架构、硬件、用时规则和赛事规程仍在不断变化。AlphaZero 在实验上的持久贡献,在于将同一个通用学习框架成功应用于多种具有挑战性的棋类。
学得的策略与棋局解读
AlphaZero 公布的国际象棋对局以弃子、持续施压,以及愿意用子力劣势换取棋子活跃度或对对手局面的限制而引人注目。评论者着重分析了它如何利用对方棋子受限、王位薄弱,以及经过许多步棋逐渐积累的优势来组织进攻。这些对局之所以令人瞩目,是因为系统并未被预先赋予一套由人类编写、按重要性排列的战略原则。
无需将人类的动机或审美偏好赋予 AlphaZero,也能解释它的行为。当神经网络和搜索判断弃子后的局面更有可能带来有利结果时,系统就可能倾向于选择弃子。由于评估函数是通过学习获得的,它不必以传统假设为起点,即每种棋子都有固定的基础价值,再根据数量有限的局面加分项进行调整。
搜索在这一解释中仍然至关重要。神经网络可以识别有潜力的进攻阵形,但仍须通过具体分析,判断对手是否存在足以化解进攻的防守手段。反过来,搜索也可能发现一串着法,其最终局面在价值网络看来十分有利,而基于子力的浅层评估却会否定最初的那一步。因此,人们观察到的棋风是习得的表征与选择性计算共同作用的结果,而非仅由神经网络产生。
“富有创造力”“凭直觉”或“像人类”等描述,都是针对可观察决策所作的类比。这些说法并不能证明 AlphaZero 具有主观意图,或像能够用语言解释弃子的棋手那样理解弃子。一盘精彩且附有评注的棋局,也无法确切揭示究竟是哪些内部特征促成了某项决策。这一区别与可解释人工智能密切相关:一个合理的战略解释即使不能忠实反映模型的内部计算过程,也仍然可能有用。
后续研究分析了国际象棋概念如何在 AlphaZero 的训练过程中形成。托马斯·麦格拉思及其同事于 2022 年发表的一项研究,考察了系统如何习得与人类棋手相关的概念,以及其开局偏好如何变化。这类研究通过分析内部表征和行为,将学习阶段与人们能够识别的国际象棋理念联系起来。研究提供了证据,表明以对局结果为导向的学习能够涌现出结构化的战略信息,但特定探测方法究竟能在多大程度上完整捕捉网络的表征,仍有待探讨。
AlphaZero 还被用于研究国际象棋变体,包括修改王车易位、兵的走法及其他对弈规则的变体。在修改后的规则下训练强大的智能体,使研究人员无需等待人类赛事积累大量棋谱,就能考察这些变化如何影响对弈模式。这些实验将其作用拓展到了击败现有引擎之外:该系统还能充当分析工具,帮助探索一款棋类游戏的规则如何塑造其战略可能性。
局限性、通用性与科学解读
AlphaZero 在三种棋类游戏中取得的成功,有力地展示了它在一类受限问题中的通用性。这三种环境都有明确的规则、可观测的状态、离散的行动,以及清晰无歧义的竞争目标。这些共同特征为模拟和学习提供了格外有利的条件。该方法的成功并不意味着,同一套实现无需改动就能用于所有决策问题。
精确的模拟器尤为重要。AlphaZero 能够探索假设性的走法,是因为环境会提供走子后的状态,并判定后续行动是否合法。在物理系统控制、经济决策或科学实验中,状态转移可能存在不确定性、代价高昂,或尚未得到充分理解。模拟经验也可能与真实经验不同,从而产生分布偏移问题;在精确实现的国际象棋环境中,这类问题不会以同样的形式出现。
奖励结构是另一个有利条件。胜、和、负都有明确的定义。现实世界中的许多任务涉及多个相互冲突的目标、延迟显现的后果,或无法归结为单一公认分数的结果。AlphaZero 展示了如何有效优化一个指定目标,却没有解决另一个独立的问题:究竟应该优化什么目标。
它学得的模型也各自针对特定棋种。尽管学习机制相同,训练出一个国际象棋网络并不会自动得到一个将棋网络。因此,应将 AlphaZero 与跨任务的迁移学习区分开来,也不能将其视为实现了通用人工智能的证据。复用一种成功的算法,与拥有可广泛迁移的知识相比,是一个更弱、也更准确的说法。
竞技实力同样不等于数学上的确定性。AlphaZero 并未在博弈论意义上求解国际象棋、将棋或围棋。它没有证明双方在初始局面下采取完美策略时的对局结果,也没有为其走法提供全面的正确性保证。搜索和学得的评估都是近似的,因此仍可能出现战术失误、局面误判,或在自我对弈中常见局面分布之外暴露出弱点。
讨论可复现性时,也需要区分公开发表的方法与最初的完整系统。DeepMind 描述了架构、训练流程和实验,但独立项目并非直接获得了原版完整的训练基础设施和全部训练产物。复现这一方法涉及工程方案的取舍、计算资源预算和实现上的差异。
最后,不应将“白板”(tabula rasa)按字面理解为完全没有先验假设。规则、编码方式、卷积结构、搜索、优化和探索机制,都是有意选择的。真正具有科学意义的结论,比“无需知识的智能”这一说法范围更窄,却也更有力:在计算资源充足、环境适宜的条件下,大量由专家设计的评估知识,可以由一套通用的学习与搜索流程取代。
对后续系统及博弈研究的影响
AlphaZero 推动了神经网络引导的搜索,使其成为现代棋类人工智能的核心方法之一。它的影响主要体现在方法论上,而非局限于某个创纪录的程序:学习得到的策略引导搜索方向,学习得到的价值函数评估搜索前沿的局面,而搜索则为后续学习提供改进的训练目标。这一模式将表征学习与显式规划联系起来。
Leela Chess Zero 于 2018 年启动,受 AlphaZero 方法启发,成为一项重要的独立开源软件实现。它利用社区贡献的算力生成自我对弈棋局,并训练国际象棋神经网络。该项目表明,相关技术也可以在最初的工业级基础设施之外得到发展,尽管其软件、神经网络、训练历程和硬件配置与 AlphaZero 并不相同。
KataGo 进一步发展了用于围棋的神经网络搜索方法,加入了训练技巧和辅助目标,提高了实际学习效率与分析能力。这类系统说明,AlphaZero 并非终点。后续研究在保留学习式评估与搜索之间相互作用的同时,对架构、训练目标、探索方法和计算组织方式进行了调整。
更广泛的国际象棋引擎生态也通过不同于 AlphaZero 的方法采用了神经网络评估。其中,通常称为 NNUE 的高效可更新神经网络,在包括 Stockfish 在内的传统引擎中发挥了重要作用。基于 NNUE 的引擎通常保留高度优化的 α–β 搜索,并采用专为低成本增量评估而设计的神经网络。它们的成功表明,从历史发展来看,两者的对比并非简单的“神经网络与传统搜索之争”:神经网络评估可以与多种不同的搜索架构相结合。
DeepMind 于 2019 年推出的 MuZero 针对另一项局限提出了解决办法:它学习适合规划的模型,而不要求搜索直接使用环境的精确状态转移规则。MuZero 学习表征以及对奖励、策略和价值的预测,并在棋类游戏和 Atari 游戏任务中进行了验证。它将这一研究方向拓展至学习环境动态,但并未消除与环境交互的必要性,也没有使任意现实世界情境的模拟变得轻而易举。
AlphaZero 还推动了有关训练阶段的学习与决策阶段的计算之间关系的研究。训练好的策略可以直接、快速地作出预测,而增加搜索则可以付出额外计算成本来改进决策。研究这些资源如何相互作用,为探究更好的表征、更多的训练样本或更深入的规划在何种情况下最有裨益,提供了一个具体场景。
一个具有持久意义的技术区别在于:是学习一种策略,还是学习一个能够通过规划改进自身策略的系统。AlphaZero 将搜索同时纳入了动作选择和训练目标生成过程。后续系统继续在不同约束条件下研究这种相互作用,包括降低推理成本、使用不完美的模型、处理隐藏信息、应对更广阔的动作空间,以及适应那些获取经验远比再进行一局模拟对弈困难的环境。