{
  "id": "alphago-zero",
  "title": "AlphaGo Zero",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "AlphaGo Zero 是 DeepMind 开发的围棋系统，无需人类棋谱，通过自我对弈强化学习达到超人水平。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "product",
  "aliases": [],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/alphago-zero/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/alphago-zero/",
      "json": "https://aiwiki.page/en/alphago-zero.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "AlphaGo Zero 是 DeepMind 开发的用于下围棋的人工智能系统。该系统于 2017 年 10 月在《自然》论文《无需人类知识即可精通围棋》中首次亮相，通过自我对弈进行强化学习，而非从人类对局范例中学习。它将神经网络与树搜索相结合，超越了早期版本的 AlphaGo。名称中的“Zero”指的是训练中不使用人类棋谱和人工编写的策略知识，而不是说它没有采用人类设计的规则、架构或算法。"
    },
    {
      "heading": "背景与开发",
      "text": "早期的 AlphaGo 系统结合了多种学习与搜索技术。2016 年击败李世石的版本，最初利用人类棋谱进行监督学习，学习预测高手的落子。随后，强化学习进一步提高了它的棋力，而相互独立的策略网络和价值网络则为搜索提供支持。其搜索还使用了称为“快速模拟”（rollout）的过程，以辅助评估局面。\n\nAlphaGo Zero 取消了以人类棋谱进行训练的阶段，将策略预测与价值预测合并到同一个网络中，并去除了快速模拟。它从随机初始化的网络参数出发，通过自我对弈生成自己的训练数据。\n\n2017 年论文的作者包括大卫·西尔弗、朱利安·施里特维瑟、卡伦·西蒙尼扬和德米斯·哈萨比斯。论文的核心成果表明，不依赖人类示范的学习方式，可以超越以专家范例作为训练起点的系统。"
    },
    {
      "heading": "学习架构",
      "text": "棋盘表示与神经网络\n\nAlphaGo Zero 使用深度残差神经网络。这是一种卷积神经网络，其连接结构有助于训练层数较多的网络。\n\n输入描述棋盘局面，包括近期的棋盘历史状态以及当前轮到哪一方落子。与早期 AlphaGo 版本不同，它不包含“气”或特定战术棋形等人工设计的策略特征。不过，它仍然使用了专门为围棋设计的表示方式。\n\n对于局面 \\(s\\)，网络产生两个输出：\n\n\\[(p,v)=f_\\theta(s).\\]\n\n其中：\n\n- \\(\\theta\\) 表示网络学习得到的参数。\n- \\(p\\) 是各落子选择上的概率分布，称为策略输出。\n- \\(v\\) 从当前落子方的视角估计棋局的最终结果。\n\n策略引导搜索关注有潜力的落子，而价值估计则用于评估局面，无需将每条探索的变化都下到终局。\n\n搜索引导的自我对弈\n\n为了选择落子，AlphaGo Zero 利用当前网络运行蒙特卡洛树搜索。搜索构建一棵局部的博弈树，反复执行选择落子、扩展局面、用网络评估局面，以及将评估结果沿树反向传播的过程。\n\n选择过程在两个目标之间取得平衡：一是探索网络认为有潜力的落子，二是利用搜索中已经获得良好评价的落子。尽管这种方法名为蒙特卡洛树搜索，AlphaGo Zero 并不使用早期 AlphaGo 系统中的快速随机模拟。\n\n搜索根据不同落子的访问次数，生成落子分布 \\(\\pi\\)。与网络单独给出的策略预测相比，这一分布通常能提供更好的训练目标。\n\n在自我对弈过程中，系统通过向根节点的落子概率添加噪声来鼓励探索。落子选择方式也随棋局阶段而变化，既让训练对局保持多样性，又使后期落子更加果断。\n\n训练目标\n\n每盘完成的自我对弈棋局都会提供训练样本，其中包含：\n\n- 棋盘局面 \\(s\\)；\n- 由搜索得到的落子分布 \\(\\pi\\)；\n- 棋局最终结果 \\(z\\)，以该局面下当前落子方的视角表示。\n\n网络使用一个组合损失函数进行训练：\n\n\\[\\ell(\\theta) = (z-v)^2 - \\pi^{\\mathsf T}\\log p + c\\lVert\\theta\\rVert^2.\\]\n\n第一项用于训练结果预测。第二项用于训练策略，使其匹配搜索得到的分布。最后一项对网络权重施加正则化，其强度由 \\(c\\) 控制。\n\n参数通过基于梯度的优化方法和反向传播进行更新。策略学习部分使用搜索生成的目标，而非人类落子标签；整体学习过程属于强化学习，因为系统通过与棋局环境交互，并利用最终结果来改进自身。"
    },
    {
      "heading": "迭代改进过程",
      "text": "AlphaGo Zero 交替进行经验生成与经验学习：\n\n- 当前最优网络引导自我对弈中的搜索。\n- 完成的棋局提供局面、搜索分布和结果。\n- 训练产生候选网络。\n- 候选网络与当前最优网络对弈，接受评估。\n- 实力提升足够明显的候选网络成为生成后续棋局所用的网络。\n\n在论文公布的流程中，候选网络只有在评估对局中取得超过 55% 的胜率，才会取代当前最优网络。\n\n这形成了一个反馈循环：更好的网络引导更好的搜索，更好的搜索产生更强的策略训练目标，而基于这些目标的训练又进一步改进网络。同时，棋局的终局结果用于训练价值输出。\n\n这一过程与策略迭代密切相关：搜索充当策略改进算子，而网络训练则用于近似改进后的策略及其价值函数。"
    },
    {
      "heading": "报告的性能",
      "text": "原始论文描述了多次训练实验，而非单一固定模型。\n\n训练实验 | 报告的结果\n三天训练 | 生成约 490 万盘自我对弈棋局，并以 100 比 0 击败曾与李世石对弈的版本 AlphaGo Lee\n四十天训练 | 生成约 2,900 万盘自我对弈棋局，并以 89 比 11 击败 AlphaGo Master\n\nAlphaGo Master 是比 AlphaGo Lee 更强的前代系统。因此，这两项结果涉及不同的对手，也对应 AlphaGo Zero 开发过程中的不同阶段。\n\n三天和四十天的实验还使用了不同规模的网络。不应将其结果理解为同一次训练过程中、其余条件均保持不变的两个时间点。\n\n论文报告，对弈时使用的是一台配备四个张量处理单元的机器。这一配置并不代表生成自我对弈数据和训练网络所需的全部资源。对弈硬件、训练硬件与累计计算量是不同的衡量指标。"
    },
    {
      "heading": "“无需人类知识”的含义",
      "text": "AlphaGo Zero 不从人类棋谱、人类编写的布局库或人工指定的围棋策略中学习。不过，它仍然依赖大量由人类设计的结构：\n\n- 围棋规则与合法落子；\n- 棋盘表示方式和神经网络架构；\n- 搜索流程；\n- 训练目标与优化过程；\n- 探索设置与模型评估标准；\n- 处理训练样本时利用的棋盘对称性。\n\n因此，该系统展示的是不依赖人类高手对弈范例的学习，而不是没有先验假设的学习。其架构和流程提供了归纳偏置，使这一学习问题变得可处理。\n\n它的网络采用随机初始化，但其环境与学习机制并不是从零开始自行发现的。"
    },
    {
      "heading": "与 AlphaZero 的关系",
      "text": "2017 年晚些时候推出的 AlphaZero 将这一核心方法从围棋扩展到了国际象棋和将棋。AlphaGo Zero 专门针对围棋进行设计和评估；AlphaZero 则将该框架适配到规则与动作空间各不相同的多种棋类游戏。\n\n两套系统在训练细节上也有所不同。例如，AlphaZero 使用持续更新的网络进行自我对弈，没有保留 AlphaGo Zero 中用于决定是否替换最优网络的评估门槛。因此，这两个名称不能混用。"
    },
    {
      "heading": "意义与局限",
      "text": "AlphaGo Zero 提供了一个引人注目的实例：系统可以通过自行生成的经验，而非模仿人类示范，形成专家级行为。它还展示了学习得到的策略、学习得到的价值函数与显式搜索如何在同一个系统中相互促进。\n\n不过，它的成功依赖于任务本身的一些有利特性。围棋的状态完全可观测，合法动作定义精确，状态转移具有确定性，终局结果也明确无歧义。自我对弈可以生成大量有效交互，而无需承担实体实验的成本或风险。\n\n许多其他应用并不具备这些条件。现实环境可能存在观测不完整、动态变化不确定、行动代价高昂等问题，其目标也可能无法简化为赢得一局游戏。将同一方法用于其他领域，需要解决这些差异带来的问题。\n\nAlphaGo Zero 的结果也不能证明人类生成的数据通常都不再必要。它所证明的是：在具有可靠模拟器和明确目标的领域中，资源投入充足的自我对弈，可以超越某种部分依赖人类示范的方法。它在比赛中的胜利也不等于从数学上解决了围棋：系统学到的是极其强大的对弈策略，而不是证明了从每一种局面出发的最优下法。"
    }
  ],
  "links": [
    "deepmind",
    "artificial-intelligence",
    "reinforcement-learning",
    "alphago",
    "supervised-learning",
    "training-data",
    "residual-neural-network",
    "convolutional-neural-network",
    "probability-distribution",
    "monte-carlo-tree-search",
    "game-tree",
    "loss-function",
    "regularization",
    "backpropagation",
    "tensor-processing-unit",
    "inductive-bias",
    "alphazero"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}