Leela Chess Zero 是一款开源软件,也是一款国际象棋引擎和协作式机器学习项目,将训练得到的神经网络评估与蒙特卡洛树搜索相结合。该项目于2018年启动,受到 DeepMind 的 AlphaZero 研究启发,是一个独立实现、向公众开放的系统。其训练方法使用自我对弈产生的棋局,而不需要收集人类大师的对局。这个名称通常既指整个训练项目,也指其对弈程序 Lc0。
起源与发展
AlphaZero 表明,将强化学习、神经网络与搜索结合起来,即使不采用传统的、人工设计的局面评估方法,系统也能在国际象棋中达到很高的棋力。Leela Chess Zero 将这一方法引入开放的开发环境,志愿者可以贡献计算资源、检查实现细节,并试验各种训练和搜索方法。
该项目还借鉴了 Leela Zero 的经验,后者是一个更早的社区项目,将相关思想应用于围棋。Leela Chess Zero 并非 DeepMind 原版 AlphaZero 软件或已训练网络的公开版本,而是受已发表方法启发的独立实现。
社区参与成为该项目的一大特色。志愿者生成自我对弈棋局,训练基础设施则利用这些棋局训练出一代又一代神经网络。这种分布式计算模式使项目能够积累大量训练经验,而不必依赖某一位贡献者的硬件。
Leela Chess Zero 很快便具备了与顶尖传统引擎竞争的实力。2019年,它在超级决赛中击败 Stockfish,赢得第15赛季顶级国际象棋引擎锦标赛冠军。其比赛成绩进一步证明,神经网络引导的搜索是实现顶尖计算机国际象棋水平的一条可行路径。
引擎的工作原理
Lc0 由两个分工明确的部分组成:
- 神经网络估计哪些着法更有潜力,以及局面对哪一方有利、有利程度如何。
- 搜索算法探索可能的后续变化,并在选择着法之前修正这些估计。
因此,神经网络并不只是着法生成器,搜索也不是对所有可能后续变化的穷尽枚举。
局面表示与网络输出
国际象棋局面会被编码为数值信息,包括棋子位置、轮到哪一方行棋,以及相关的状态或历史信息。具体输入格式因网络代际而异。
人工神经网络通常输出一项策略,为候选着法赋予相对偏好;同时输出一个价值,估计当前局面的预期结果。有些网络格式通过分别估计胜、和、负来表示价值。特定架构还可能支持额外的输出。
早期网络采用深层残差神经网络,具体为残差卷积网络。后续开发也引入了基于注意力机制的架构。因此,与其将 Lc0 视为永久绑定某一种模型设计的程序,不如将其理解为支持不断演进的网络格式的引擎。
策略引导搜索优先考察有潜力的着法。价值则用于评估搜索过程中到达的局面,无需将每条变化都推演至将死或其他终局结果。合法着法的生成仍由国际象棋软件负责;网络的任何输出都不能凌驾于规则之上。
神经网络引导的搜索
Lc0 搜索一棵博弈树,树的分支代表可能的着法。其选择规则在两个目标之间取得平衡:考察已被判断为有潜力的着法,以及探索价值尚不确定的其他选择。
一种常用选择原则的简化表述为
其中, 是着法 当前的估计价值, 是其策略先验, 表示访问次数。系数 控制探索的影响程度。实际实现还包含这一示意公式未体现的改进。
当搜索到达需要评估的局面时,网络会提供新的策略和价值估计。这些估计会被纳入搜索树中累积的统计信息。最终着法依据这些统计信息选出,通常尤其重视访问次数。
尽管称为蒙特卡洛树搜索,这一过程并不依赖大量完全随机的对局推演直至终局。训练得到的评估取代了这种方法某些早期形式所采用的随机模拟。
通过自我对弈学习
该项目的核心训练方法是迭代式自我对弈:
- 引擎与自身对弈,由当前网络引导搜索。
- 将局面、搜索得到的着法分布和对局结果记录为训练数据。
- 更新网络参数,使其更准确地预测搜索偏好和最终结果。
- 更新后的网络为后续对弈提供新的评估。
与仅使用网络的初始策略相比,搜索能够产生依据更充分的着法分布。随后,训练将这种改进的一部分反馈到网络中,从而在学习与规划之间形成反馈循环。
一个简化的 AlphaZero 风格损失函数为
其中, 是对局结果, 是预测价值, 是搜索得到的着法分布, 是网络的策略。最后一项起到正则化作用。输出结构不同的网络可以使用不同的损失函数;这个表达式描述的是基本学习原理,而非 Lc0 的每一种训练配置。
**“Zero”**一词指的是最初的学习理念,而非完全不存在预先设定的结构。系统预先获得国际象棋规则、输入表示方式、动作编码,以及人工设计的学习与搜索流程。它并不是从无结构的观察中自行发现国际象棋规则。自我对弈也不意味着引擎通常会在与用户对局时改变网络权重:使用已有网络对弈与训练新网络是两项独立的操作。
软件、硬件与使用
安装 Lc0 时,引擎可执行程序与其加载的网络权重彼此分离。因此,棋力和资源需求同时取决于这两个组成部分,以及搜索设置和可用硬件。
神经网络推理需要大量计算。Lc0 通常能受益于图形处理器,后者可以高效地批量评估局面。搜索管理和其他任务也会使用中央处理器。计算后端支持、数值精度、网络规模和批处理方式都会影响性能。
引擎通过通用国际象棋接口协议与国际象棋界面通信。因此,它可用于交互式对弈、局面分析和自动化引擎比赛。与其他分析引擎一样,其输出是基于特定网络和搜索预算的估计,并不能证明某一步棋在客观上就是最佳着法。
与其他国际象棋引擎的比较
传统的顶尖国际象棋引擎大多将采用 Alpha–Beta剪枝的搜索与人工设计的评估函数相结合。相比之下,Lc0 将计算成本相对较高、通过学习获得的评估器置于着法选择和局面评估的核心。
随着其他引擎采用神经网络评估,两者之间的界限已不再那么绝对。例如,Stockfish 在基于 Alpha–Beta 的搜索框架中使用可高效更新的神经网络。因此,有意义的比较不只是“神经网络”与“非神经网络”的对比,而在于如何设计评估与搜索,使二者协同工作。
这些方法以每秒节点数衡量的搜索速度不能直接比较。Lc0 的一个节点所涉及的计算和信息,可能与另一款引擎的节点有很大差异。要进行有意义的比较,就必须考虑硬件资源分配、比赛时限、网络版本、开局局面和比赛规则。
局限与意义
Lc0 的评估是通过学习得到的近似值。有限的搜索可能遗漏战术手段,而不准确的策略先验可能在搜索初期使注意力偏离某个重要着法。其表现会随网络质量、架构、硬件和所测试的局面而变化。
对它给出的结果估计也需要结合背景理解。估计的获胜概率反映的是某个模型及其对后续行棋的假设,而不是面对任何可能对手时都成立的无条件概率。将 Lc0 描述为“像人类”“富有创造力”或“注重局面”的说法属于非正式解读,并非其内部推理已得到证实的属性。
该项目为深度学习与搜索之间的相互作用提供了一个可公开检视的实例。其公开的软件、网络和训练活动为自我对弈学习、网络架构及搜索设计方面的实验提供了条件,而参加比赛则使这些方法接受了严格的实践检验。