{
  "id": "deepseek-r1",
  "title": "DeepSeek-R1",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "DeepSeek-R1 是深度求索开发的开放权重语言模型系列，通过强化学习和蒸馏提升推理能力。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "product",
  "aliases": [
    "DeepSeek R1"
  ],
  "generated_at": "2026-10-15",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/deepseek-r1/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/deepseek-r1/",
      "json": "https://aiwiki.page/en/deepseek-r1.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "DeepSeek-R1 是深度求索（DeepSeek）开发的大语言模型系列，于 2025 年 1 月 20 日首次发布，侧重于数学解题、编程及其他推理任务。其开发结合了强化学习与有监督微调，而相关实验模型 DeepSeek-R1-Zero 则探索了不经过前期有监督微调阶段、直接进行强化学习的方法。此次发布提供了可供下载的模型权重，以及规模较小的蒸馏模型。(api-docs.deepseek.com)\n\n该系列的重要意义在于，它详细记录了训练推理模型并将其能力迁移至较小模型的方法。深度求索公布的结果表明，该系列在部分基准测试中可与同期的专有推理模型相媲美，但并非在所有任务上都占据优势。后续版本进一步扩展了该系列的推理与工具使用能力，其中包括 2025 年 5 月发布的 DeepSeek-R1-0528。其架构、训练方法、评测结果、部署要求及许可条款，展现了开放分发的推理模型的潜力与局限。(arxiv.org)"
    },
    {
      "heading": "开发与发布历史",
      "text": "DeepSeek 于 2025 年 1 月 20 日发布 DeepSeek-R1，用户可通过下载模型权重、调用其托管的应用程序编程接口（API），以及使用面向普通用户的聊天服务中的“深度思考”（DeepThink）选项来访问该模型。这几个名称指代不同的实体：DeepSeek 是开发者和服务提供商；DeepSeek-R1 指一个推理模型家族，狭义上则指该家族最初的主模型检查点；DeepSeek 聊天机器人则是用户访问模型的应用程序。发布时，API 通过标识符 deepseek-reasoner 来选择 R1，而非使用其可下载检查点的名称。该标识符用于指定托管服务中选用的模型，并不是对 1 月版模型权重的固定命名。(api-docs.deepseek.com)\n\n最初发布的模型包括 DeepSeek-R1-Zero 和 DeepSeek-R1 两个完整规模模型，以及六个规模较小的蒸馏模型检查点。R1-Zero 是一项研究实验，尝试在不进行前期监督微调的情况下，直接对预训练大语言模型应用强化学习。R1 则引入了额外的多阶段后训练流程，旨在解决 R1-Zero 中观察到的可读性差、语言混杂等问题。同期发布的小模型分别名为 DeepSeek-R1-Distill-Qwen-1.5B、-7B、-14B 和 -32B，以及 DeepSeek-R1-Distill-Llama-8B 和 -70B。这些后缀表示以十亿为单位的标称参数量；它们是以 Qwen 或 Llama 为基础、使用 R1 生成的材料训练而成并单独发布的模型，而不是完整 R1 检查点的其他名称。(github.com)\n\n首份技术报告《DeepSeek-R1：通过强化学习激发大语言模型的推理能力》于 2025 年 1 月 22 日提交至 arXiv，比产品发布晚两天。报告署名为 DeepSeek-AI 及一个研究团队，团队成员包括郭达雅、杨德健、张浩威和宋俊霄。这一编号为 2501.12948v1 的 arXiv 初版介绍了 R1-Zero、R1 的训练流程以及六个蒸馏模型。因此，1 月 22 日是预印本的提交日期，而非该模型家族首次向公众开放的日期。发布公告还提供了项目代码仓库中技术报告 PDF 文件的链接。(arxiv.org)\n\n2025 年 5 月 28 日，DeepSeek 将其托管的推理模型更新为 DeepSeek-R1-0528，并以这一带日期的名称发布了模型检查点。开发者将其描述为一次小版本升级，涉及增加计算资源和调整后训练流程，而非以新名称推出的新一代模型。其模型卡还介绍了 DeepSeek-R1-0528-Qwen3-8B，该模型通过将更新版模型生成的推理内容迁移至 Qwen3-8B-Base 而训练得到。由此，发布的小模型不再局限于 1 月首发时的六个检查点。带日期的 0528 标记将 5 月版模型权重与最初的 R1 区分开来，即使托管 API 仍继续使用 deepseek-reasoner 这一标识符。(api-docs.deepseek.com)\n\n这项研究随后以《DeepSeek-R1 通过强化学习激发大语言模型的推理能力》为题发表于《自然》，于 2025 年 9 月 17 日在线发表，刊载于第 645 卷第 633—638 页；该期刊物的出版日期为 9 月 18 日。期刊记录的收稿日期为 2025 年 2 月 14 日，接受日期为 2025 年 7 月 17 日。arXiv 第二版于 2026 年 1 月 4 日提交，arXiv 条目也将这篇《自然》论文列为对应的期刊出版物。这些日期属于研究成果的发表历程：不应将 9 月发表的论文和次年 1 月的修订版视为模型检查点的发布，也不应以这些日期替代 1 月 20 日和 5 月 28 日的模型发布日期。(doi.org)"
    },
    {
      "heading": "架构与预训练基础",
      "text": "最初发布的完整版 DeepSeek-R1 和 DeepSeek-R1-Zero 均继承了 DeepSeek-V3-Base 的架构与预训练权重。它们是采用稀疏专家混合模型（MoE）架构的自回归 Transformer架构语言模型，而不是通过面向推理的后训练创造出的新网络架构。两者采用不同的训练流程，通过强化学习改变预训练模型的行为，其中 R1 还使用了监督微调。较小的蒸馏版模型检查点分别以 Qwen 或 Llama 为基础，不应将完整版模型的架构规格套用于它们。(github.com)\n\n最初发布的两个完整版模型均标有 6710 亿总参数，每个词元约激活 370 亿参数，并宣称支持 128K 词元的上下文窗口。总参数量衡量的是模型所存储的整体容量；激活参数量则描述处理某个词元时参与计算的参数子集。因此，稀疏激活并不意味着 R1 是一个 370 亿参数的稠密模型，也不会消除其余专家的存储需求。它所继承的基础模型使用了 14.8 万亿词元进行预训练。DeepSeek-V3 的多词元预测目标和 FP8 混合精度训练属于该基础模型的开发过程，而不是后续专门针对 R1 的推理训练流程。(github.com)\n\n该网络包含 61 个 Transformer 层，隐藏维度为 7,168。前三层使用稠密前馈网络，后续各层使用 DeepSeekMoE 模块，每个模块包含一个共享专家和 256 个路由专家，每个词元会选用其中八个路由专家。共享专家处理每个词元，路由器则从其余专家中选择一个稀疏子集。(huggingface.co) 在其继承的路由设计中，sigmoid 亲和度分数决定专家的选择，选中专家的分数经归一化后用于加权专家输出。为平衡训练工作负载，负载过高的专家会降低其路由偏置，负载不足的专家则会提高其路由偏置；这些偏置影响的是专家选择，而非输出权重本身。尽管被描述为“无辅助损失”，V3 仍使用了一项权重较小的补充性序列级均衡损失，以抑制单个序列内的极端负载不均衡。(arxiv.org)\n\n其继承的多头潜在注意力（MLA）机制减少了神经网络推理期间保存先前词元信息所需的内存。它并非为每个注意力头分别缓存完整的键和值，而是将两者联合压缩为一个低秩潜在向量。生成过程中会缓存该向量，以及一个独立的位置键分量。(arxiv.org) R1 的配置指定了 128 个注意力头、512 维的键值潜在表示，以及 64 维的位置键分量。(huggingface.co) 这些注意力与缓存机制均继承自基础模型：R1 的推理后训练改变的是模型运用预训练能力的方式，而非引入 MLA 或稀疏专家路由。(github.com)"
    },
    {
      "heading": "DeepSeek-R1-Zero 与强化学习机制",
      "text": "DeepSeek-R1-Zero 直接对预训练的 DeepSeek-V3-Base 检查点进行强化学习。因此，“不经过监督微调”描述的是其后训练流程：它省略了使用推理回答示例进行初始监督微调的阶段，而不是省略语言模型预训练本身。该实验检验的是，奖励驱动的优化能否在现有语言模型的基础上提升推理能力，而非从随机初始化的权重开始教授语言和推理。DeepSeek 的模型卡将这一实验方法与后来用于 DeepSeek-R1 的冷启动示例作了区分。(arxiv.org)\n\n其优化方法为组相对策略优化（GRPO），由邵志宏及其同事在 2024 年的 DeepSeekMath 论文中提出。对于每个问题，旧版策略采样生成 \\(G\\) 个回答，各自获得奖励 \\(r_1,\\ldots,r_G\\)。每个回答的优势值都相对于所在组进行归一化：\n\n\\[A_i=\\frac{r_i-\\operatorname{mean}(r_1,\\ldots,r_G)} {\\operatorname{std}(r_1,\\ldots,r_G)}.\\]\n\n因此，每个回答都是与同一问题的其他解答尝试进行比较。该组回答提供了基线，无需单独训练评判器或价值模型，从而降低了基于评判器的训练所需的内存和计算开销。(arxiv.org)\n\nGRPO 利用当前策略与旧策略的概率比来更新策略。其裁剪代理目标限制了过大幅度更新所能带来的收益：在目标函数的一个分支中，概率比被裁剪至 \\([1-\\varepsilon,1+\\varepsilon]\\)，随后采用两个经优势值加权的项中较小的一项。另一个以 \\(\\beta\\) 加权的独立惩罚项则约束当前策略相对于参考策略的 KL散度。裁剪控制的是相对于采样策略的变化，散度正则化控制的则是对参考策略的偏离。这两种机制都不需要单独的评判器。(arxiv.org)\n\nR1-Zero 使用基于规则的正确性奖励和格式奖励。对于结果可确定的数学题，系统从指定格式（如方框标出的答案）中提取答案并进行核验；对于编程题解，则通过预设测试的执行结果提供反馈。格式奖励要求推理内容置于 <think> 和 </think> 分隔标记之间。训练模板要求先给出推理，再给出答案，但不规定必须进行反思，也不指定具体的解题策略。训练中不使用通过学习得到的神经网络结果奖励模型或过程奖励模型。(arxiv.org)\n\n2025 年 1 月 22 日的报告描述了回答逐渐变长的现象：推理长度从数百个词元扩展到数千个词元，并出现核验和尝试其他方法的行为。报告中的“顿悟时刻”示例涉及方程 \\(\\sqrt{a-\\sqrt{a+x}}=x\\)：某个中间检查点生成的回答中止了原有的代数解法，重新开始分析。这是生成文本中观察到的一种模式，并不能证明模型具有主观上的领悟。模型卡还记录了无休止的重复、语言混杂和可读性差等问题：更长的推理过程并不一定连贯，也不一定适合用户阅读。这些局限促使研究者在另一套独立的 R1 训练流程中引入可读性良好的冷启动材料。(arxiv.org)"
    },
    {
      "heading": "DeepSeek-R1 的后训练流程",
      "text": "DeepSeek 于 2025 年 1 月发布的技术报告介绍了初版 R1 的四个后训练阶段：冷启动监督微调、面向推理的强化学习、使用筛选后的模型输出和通用任务样例进行的第二轮监督训练，以及结合偏好奖励的最终强化学习。与 R1-Zero 直接开展强化学习的实验不同，R1 先使用易于阅读的示范样例完成初始训练，再优化推理表现。这些阶段均在预训练模型 DeepSeek-V3-Base 的基础上开展，而非取代预训练。(github.com)\n\n冷启动阶段使用了数千条长篇推理示范样例。收集方式包括：在提示中提供完整解题示例，要求给出包含反思与验证的详细解答，筛选易于阅读的 R1-Zero 输出，以及进行人工后处理。示范样例将推理过程与结尾总结分开，并排除了不便于读者阅读的回答。完成这一初始训练后，面向推理的强化学习重点覆盖数学、编程、科学和逻辑任务。其奖励既考虑答案准确性，也考虑语言一致性，即生成的推理中使用目标语言的词语所占的比例。开发者报告称，消融实验显示，这一语言约束会使性能略有下降，但为了可读性，他们接受了这一权衡。(arxiv.org)\n\n推理强化学习收敛后，研究人员使用所得检查点为每个提示生成多个回答，再通过拒绝采样保留正确答案。另有一些样例由 DeepSeek-V3 结合参考答案与模型预测结果进行评判。筛选过程剔除了包含混合语言、过长段落或代码块的推理，最终得到约 60 万条推理样例。此外，约 20 万条样例涵盖写作、事实性问答、翻译及相关非推理任务，其中部分复用了 DeepSeek-V3 的监督训练数据。对于简单的问候语，样例不包含推理过程。关键在于，随后的监督训练阶段使用这约 80 万条混合样例，对 DeepSeek-V3-Base 进行了两个轮次的微调，而不是直接在上一阶段的检查点上继续强化学习。(arxiv.org)\n\n最后的强化学习阶段将可验证任务的奖励与基于模型的偏好信号相结合。数学、编程和逻辑推理任务继续使用基于规则的正确性奖励；通用任务提示则使用旨在衡量有用性和无害性的奖励模型。有用性评估只考察最终总结，强调相关性和实用性，不直接评价此前的推理过程。无害性评估则检查完整回答，包括推理和总结。因此，这两个目标不仅奖励的内容不同，评估的生成文本范围也不同。(pmc.ncbi.nlm.nih.gov)\n\n后来发表于《自然》的方法说明进一步披露了这些偏好目标的细节。有用性奖励模型使用了 66,000 对偏好样本，由 DeepSeek-V3 对每对样本评判四次，每次随机排列答案顺序，以减少位置偏差。安全性奖励模型使用了 106,000 条提示，其生成回答依据预先制定的安全准则进行标注。第二轮强化学习共进行了 1,700 步，仅在最后 400 步中引入通用指令数据和基于偏好的奖励。这些是训练目标和训练程序，并不保证训练后生成的每个回答都有用或无害。(pmc.ncbi.nlm.nih.gov)"
    },
    {
      "heading": "蒸馏与小型模型变体",
      "text": "DeepSeek 的小型 R1 变体采用序列级知识蒸馏：使用经过筛选、包含大型教师模型所生成的推理轨迹和答案的回复，对已有的预训练学生模型进行监督微调。因此，迁移的是生成的文本，而不是教师模型的架构或部分权重。这些检查点并非完整 R1 模型的剪枝版本，其参数量较小也不是降低数值精度的量化技术所致。它们以 Qwen 或 Llama 为基础，在架构上仍与完整模型的混合专家设计不同。DeepSeek 还修改了原始学生模型的配置和分词器，因此，随检查点发布的配置也构成了模型规格的一部分。(github.com)\n\n最初的系列包含六个稠密模型，标称规模以十亿参数为单位。检查点名称同时标明了学生模型所属系列及其规模；其底层基础模型并非全部经过指令微调。具体而言，两个最小的 Qwen 变体采用了专门面向数学的基础模型检查点，而 70B 的 Llama 变体则以经过指令微调的检查点为起点。(github.com)\n\n发布的检查点 | 初始检查点\nDeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B\nDeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B\nDeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B\nDeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B\nDeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B\nDeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct\n\nDeepSeek 的发布仓库明确列出了这些模型与其基础模型之间的对应关系。(github.com)\n\n对于最初发布的蒸馏检查点，DeepSeek 使用了包含约 80 万个样本、经过筛选的监督数据集，之后没有再进行强化学习。扩展版技术报告给出的训练设置为：训练两到三个轮次，批量大小为 64，最大训练序列长度为 32,768 个词元。在对照实验中，研究者另行从 Qwen2.5-32B-Base 出发，针对数学、编程及科学、技术、工程和数学（STEM）问题进行强化学习，经过超过 10,000 个更新步骤，得到 Qwen2.5-32B-Zero。DeepSeek 报告称，该模型与 DeepSeek-R1-Distill-Qwen-32B 在 AIME 2024 上的 pass@1 得分分别为 47.0% 和 72.6%；对应的 LiveCodeBench 得分分别为 40.2% 和 57.2%。(arxiv.org)\n\n这一比较支持蒸馏在所测试训练方案下的有效性，而不能据此对各种训练方法作出普遍性的优劣排序。实验仅比较了一个 32B 基础模型在特定数据集和优化设置下的表现，并未穷尽测试更小的架构，也未使所有计算开销保持一致。对其经济性的解读还以能够使用一个已有较强能力的教师模型为前提：对学生模型进行监督训练，并不会消除开发教师模型及生成训练样本的上游成本。DeepSeek 的结论针对的是在本次实验中，迁移已有模型的推理行为，与通过直接强化学习激发相近的推理行为，两者之间的相对效率。(arxiv.org)\n\n2025 年 5 月的更新推出了 DeepSeek-R1-0528-Qwen3-8B。这是一个独立的蒸馏检查点，以 Qwen3-8B-Base 为基础，使用 DeepSeek-R1-0528 生成的推理轨迹进行训练。它并非最初基于 Llama 的 8B 模型的更新版本：其架构与通义千问3-8B 完全相同，而分词器配置则与 DeepSeek-R1-0528 一致。模型卡明确区分了这两种继承关系，并要求使用随 DeepSeek 检查点一同分发的配置文件，而非以原始 Qwen3 仓库中的配置文件替代。因此，“8B”这一标识描述的是大致的模型规模，并不意味着它在架构、词表或对话格式上与此前发布的 8B 模型兼容。(huggingface.co)"
    },
    {
      "heading": "基准测试结果与评估方法",
      "text": "DeepSeek 开发团队公布的初版 DeepSeek-R1 测试结果，分别涵盖数学推理、竞赛编程、软件工程、科学问题、通用知识和汉语任务。在数学方面，R1 在 AIME 2024 上的 pass@1 为 79.8%，在 MATH-500 上得分为 97.3%，在 CNMO 2024 上得分为 78.8%。竞赛编程指标包括 LiveCodeBench 上的 65.9%，以及估算为 2,029 的 Codeforces 评级分，对应第 96.3 百分位。软件工程结果则单独报告：在 SWE-bench Verified 上解决了 49.2% 的问题，在 Aider-Polyglot 上的准确率为 53.3%。这些数值对应不同的任务和评分体系，不能作为衡量编程能力的指标相互替代。(github.com)\n\n在科学推理方面，R1 在 GPQA Diamond 上得分为 71.5%；该测试包含研究生水平的生物学、物理学和化学问题。通用知识测试结果包括 MMLU 上的 90.8% 和 MMLU-Pro 上的 84.0%，而事实问答测试 SimpleQA 上的正确率为 30.1%。在汉语评估中，R1 在 C-Eval 上得分为 91.8%，在 CLUEWSC 上的精确匹配率为 92.8%，在 C-SimpleQA 上的正确率为 63.7%。区分这些类别十分重要：数学成绩优异，并不意味着事实问答的准确率也能达到相近水平。(github.com)\n\n报告中的 pass@1 估算的是一次采样所得回答正确的概率，而非衡量某个固定的确定性回答。对于每道题，评估人员生成多个回答，并对表示回答是否正确的二元指标取平均值：\\(\\widehat{p}=k^{-1}\\sum_{i=1}^{k}c_i\\)，其中，\\(c_i\\) 在回答正确时为一，否则为零。评估采用 0.6 的温度参数、0.95 的 top-\\(p\\) 采样阈值，以及 32,768 个词元的最大生成长度。修订版报告明确指出，AIME 和 GPQA 每题采样 64 次，MATH 和 Codeforces 每题采样 16 次，LiveCodeBench 每题采样八次。相比之下，Consensus@64 通过对 64 个回答进行多数投票来选定答案；因此，它利用多次生成得出一个答案，不同于 pass@1 所估算的单次回答成功概率。(arxiv.org)\n\n评估还取决于提示工程和执行框架。MMLU、DROP、GPQA Diamond 和 SimpleQA 使用了 simple-evals 中的提示；MMLU-Redux 使用了 Zero-Eval 的零样本格式。对于 MMLU-Pro、C-Eval 和 CLUEWSC，开发团队将少样本提示改为零样本提示，因为推理示例可能降低 R1 的表现。Codeforces 评级分根据十场 Division 2 比赛进行估算，并使用专家编写的测试用例。SWE-bench Verified 使用 Agentless 框架，而 Aider 使用 diff 格式的编辑。因此，这些软件工程分数衡量的是模型在指定工作流程中的表现，而非不受限制的自主开发能力。(arxiv.org)\n\n进行比较时，必须明确模型版本：原始表格将 R1 与 Claude-3.5-Sonnet-1022、GPT-4o-0513、OpenAI-o1-1217 等模型进行了比较。o1-1217 的数据来自官方报告，而非同一轮评估。因此，报告中 R1 的 AIME 得分 79.8% 与 o1-1217 的 79.2%，并不构成计算资源相同的受控比较。回答长度上限、实际生成长度，以及汇总多次生成结果所用的资源预算，仍是实验设计中需要考虑的因素。针对基准测试污染，修订版报告介绍了其过滤做法：剔除包含与评估题目或解答相匹配的连续 10 个词元序列的训练文本，其中包括约六百万篇潜在的数学预训练文本。不过，报告也承认，这种过滤方法可能遗漏经过改写的测试材料。(arxiv.org)"
    },
    {
      "heading": "DeepSeek-R1-0528 与能力扩展",
      "text": "DeepSeek 于 2025 年 5 月 28 日发布 DeepSeek-R1-0528。这是一次后训练更新，并未替换预训练基座，仍沿用 2024 年 12 月发布的 DeepSeek-V3-Base 模型。开发者将其推理性能的提升归因于后训练阶段更多的计算投入和算法优化，而非全新设计的架构。相关说明仅作了概括性介绍，没有详细披露新增训练计算量或优化流程。（api-docs.deepseek.com）\n\n主要的量化例证来自 AIME 2025：据开发者报告，准确率从此前 R1 检查点的 70.0% 提高到 R1-0528 的 87.5%，提升了 17.5 个百分点。每道题生成的推理内容平均长度从约 12,000 个词元增至 23,000 个词元，接近翻倍。DeepSeek 将更长的生成内容与更充分的问题求解过程联系起来。不过，这一比较既更换了模型检查点，也大幅增加了回答长度，并不是在相同推理计算预算下对准确率进行的受控测量。因此，生成的推理内容更长只是此次更新中观察到的特征，并非经过独立验证的性能提升原因。（api-docs.deepseek.com）\n\n随附的评测表显示，模型在多类任务上均有提升。GPQA-Diamond 的成绩从 71.5% 提高到 81.0%，AIME 2024 从 79.8% 提高到 91.4%，LiveCodeBench 中 2024 年 8 月至 2025 年 5 月题集的成绩则从 63.5% 提高到 73.3%。采用 Agentless 评测框架时，SWE-Verified 的任务解决率从 49.2% 提高到 57.6%。对于需要采样的基准测试，DeepSeek 指定温度为 \\(0.6\\)、top-\\(p\\) 为 \\(0.95\\)、最大生成长度为 64K 词元，并为每个问题生成 16 个回答，以估算 pass@1。这些数值是开发者按照所述规程测得的结果，并不保证单次回答能达到相应表现。（huggingface.co）\n\n此次更新还扩展了结构化交互能力。发布公告宣布，托管 API 新增 JSON 输出和函数调用支持，前端代码生成能力也有所改善。函数调用是指生成结构化请求，交由宿主应用执行；这并不意味着生成的文本本身会执行函数，也不意味着模型会自主获得工具。中文发布文档明确说明，不支持在思考过程中调用工具。另外，模型卡说明了对系统提示词的支持，并取消了此前必须在开头添加思考标记、以强制生成推理式回答的要求。这些变化在提升数学推理能力的同时，也扩展了输出格式和提示控制方面的能力。（api-docs.deepseek.com）\n\n性能变化并非全都向好。在开发者提供的同一组比较中，尽管模型在推理和编程基准测试上的成绩有所提升，SimpleQA 的正确率却从 30.1% 降至 27.8%。这一结果涉及事实性问答，应与发布公告中关于减少人工智能幻觉的更宽泛说法区分开来：在部分推理任务上表现改善，并不能证明事实准确性得到了普遍提升。（huggingface.co）"
    },
    {
      "heading": "推理、部署与集成",
      "text": "DeepSeek-R1 先生成推理过程，再给出最终答案。在模型检查点的输出中，<think> 和 </think> 用于界定推理部分；模型服务软件可以将这段文本解析为独立的响应字段，而不是将其作为一条消息整体展示。DeepSeek 文档中针对 deepseek-reasoner 的流式输出示例，通过 delta.reasoning_content 收集推理内容，通过 delta.content 收集答案文本。它们是同一生成序列的两个部分，而不是两个独立运行的模型。在常规自回归推理中，输出词元依次生成，后续词元以此前的文本为条件。因此，在其他服务条件相当的情况下，推理过程越长，所需的解码工作就越多，最终答案开始输出的时间也越晚。流式输出可以展示中间结果，但并不能省去这些计算。(arxiv.org)\n\n部署完整模型必须容纳全部参数，而不只是每个词元所激活的约 370 亿个参数。原始模型包含 6710 亿个参数：按每个参数占用两字节简单计算，存储空间约为 1.342 TB；按每个参数一字节计算，则为 671 GB，且尚未计入量化元数据和运行时分配的空间。这些只是权重存储空间的理论估算，并非实测的加速器内存需求。此外，还需要额外空间来存放中间激活值、通信缓冲区，以及为活跃序列保留的键值缓存。模型沿用的多头潜在注意力架构会压缩缓存中的注意力信息，但更长的上下文和更多的并发请求仍会消耗额外的缓存容量。因此，专家的稀疏激活虽然减少了计算量，却不意味着完整检查点的存储需求等同于一个拥有 370 亿参数的稠密模型。(github.com)\n\n模型服务框架通过各种形式的并行计算，将这些工作负载分配到多个图形处理器上。张量并行将张量运算拆分到多个设备上，而专家并行则将专家分布在不同设备上，并在承载这些专家的设备之间路由词元表示。vLLM 项目的 R1 部署指南记录了一种使用八块 H200 图形处理器的 FP8 配置；对于 DeepSeek-R1-0528，指南给出的启动参数同时使用了 --tensor-parallel-size 8 和 --enable-expert-parallel。指南还记录了一种使用四块 B200 的配置，用于部署 NVIDIA 的 FP4 量化 R1 检查点。这些配置取决于具体的精度和实现方式，并非通用的图形处理器数量下限。量化检查点可以降低权重存储需求，但其部署还取决于所支持的计算内核、缓存精度、上下文长度和并发量。(github.com)\n\nDeepSeek 的代码仓库另行提供了较小蒸馏模型与 vLLM 和 SGLang 的集成文档。其中，DeepSeek-R1-Distill-Qwen-32B 的示例在这两个框架中都采用双路张量并行；vLLM 示例将最大序列长度设为 32,768 个词元。这些示例针对的是该稠密蒸馏检查点，而非完整的 6710 亿参数模型。输出解析是集成的另一个层面：vLLM 提供了 deepseek_r1 推理解析器，可通过 --reasoning-parser 选择使用。响应字段的约定可以独立于模型权重发生变化；例如，vLLM 文档记录了从 reasoning_content 向 reasoning 的迁移，同时保留 content 作为最终答案的字段。(github.com)\n\n可下载的检查点、托管 API 访问以及面向普通用户的聊天机器人，代表了不同的部署方式。DeepSeek 于 2025 年 1 月 20 日发布的公告将 deepseek-reasoner 列为 R1 的 API 模型名称，而其代码仓库则说明了如何通过聊天机器人的“深度思考”（DeepThink）按钮使用该模型。仓库还发布了文件上传和网页搜索的提示词模板，用于将外部提供的内容插入请求；这些应用功能并不能证明，检查点本身在推理时就会检索文件或搜索网页。第三方托管的可用情况同样有其时间范围：2025 年 6 月 4 日，GitHub 宣布可通过 GitHub Models 的试用界面、API 和仓库中的 Models 选项卡使用 R1-0528。这份公告确认的是该日期的集成情况，而不是某个服务端点与某个始终不变的检查点之间的永久对应关系。(api-docs.deepseek.com)"
    },
    {
      "heading": "许可、分发与可复现性",
      "text": "DeepSeek 以 MIT 许可证授权 R1 的主代码仓库和模型权重，明确允许商业使用、修改和创作衍生作品，包括通过蒸馏训练其他大语言模型。这一授权并不局限于通过托管服务访问模型：接收者可以下载和再分发已发布的检查点。该许可证要求在授权材料的副本或实质性部分中保留其著作权声明和许可声明，并声明不提供担保、不承担责任。其宽松条款不要求修改后的内容以相同许可证发布。(github.com)\n\n蒸馏检查点还涉及上游模型的许可沿革。DeepSeek 指出，最初四个基于 Qwen 的变体——1.5B、7B、14B 和 32B——衍生自最初采用 Apache 许可证 2.0 授权的 Qwen2.5 模型。该许可证允许商业再分发和修改，但对随附许可证副本、保留声明、标明已修改的文件，以及保留适用的 NOTICE 文件中的署名信息等事项提出了要求；它还包含明确的专利授权及其终止条款。因此，DeepSeek 将模型标为 MIT 许可，并不意味着可以忽略其上游来源。基于 Llama 的 8B 和 70B 检查点则分别源自 Llama-3.1-8B 和 Llama-3.3-70B-Instruct，代码仓库也明确指向了它们各自对应的 Meta 许可证。(github.com)\n\nLlama 3.1 和 3.3 社区许可协议规定了一些 MIT 许可证没有的条件。其再分发条款要求附上协议、保留署名声明，并醒目展示“Built with Llama”字样；协议还纳入了一项可接受使用政策。两份协议均对使用 Llama 材料或输出开发并分发的模型提出了命名要求。如果被许可方或其关联方的产品或服务，在相关 Llama 版本发布日期之前的一个自然月内，月活跃用户数超过 7 亿，则还须遵守一项额外的商业条款：在此情况下，行使许可权利需要另行取得 Meta 的授权。这些针对特定检查点的条款，使 Llama 衍生模型有别于 R1 主模型权重和采用 Apache 许可证的 Qwen 基础模型。(huggingface.co)\n\n发布内容为检查和运行成品模型提供了大量材料。GitHub 仓库提供了研究报告、模型说明、基准测试表格、提示词使用指南和模型服务部署示例，并附有 R1、R1-Zero 及最初六个蒸馏检查点的下载链接。R1 的 Hugging Face 仓库包含分片的 SafeTensors 权重、权重索引、模型配置、生成配置和分词器文件。这些文件支持独立推理和进一步微调，但并不等同于完整发布训练所需的全部材料：上述仓库并未提供完整的、经过整理筛选的训练语料，也未提供可执行的端到端后训练流水线。(github.com)\n\n可复现性还取决于参考的是哪个版本的研究说明。技术报告第 2 版披露了详细的采样设置、学习率、批量大小和训练计划。例如，报告描述了使用 80 万个样本进行两到三个轮次的蒸馏训练，批量大小为 64，最大序列长度为 32,768 个词元。报告给出的计算用量为：R1-Zero 使用 101,000 个 H800 GPU 小时，监督数据创建使用 5,000 个，R1 使用 41,000 个，总计 147,000 个 GPU 小时。其估算成本为 294,000 美元，按每 GPU 小时 2 美元计算；该表涉及的是上述 R1 训练工作，不包括对其所继承的基础模型进行预训练。这些披露有助于说明实验规模，但要重现报告中的训练运行，还需要确切的训练数据、筛选决策、奖励机制的实现和训练基础设施。因此，相比于复现模型的创建过程，可下载的权重更直接地支持重现模型的使用过程。(arxiv.org)"
    },
    {
      "heading": "可靠性的局限与研究问题",
      "text": "2025 年 1 月最初发布的 DeepSeek-R1 在可验证推理任务之外存在一些已记录的弱点。开发者报告称，它在函数调用、多轮交互、复杂角色扮演和 JSON 输出方面的表现不如 DeepSeek-V3。其指令遵循能力也对提示设计较为敏感：在开发者的评估中，加入少样本示例始终会降低性能。尽管 R1 的后训练改善了 R1-Zero 的可读性问题，但对于中英文以外语言的查询，模型仍可能用英语进行推理或作答。软件工程方面的改进相对有限，因为评估速度缓慢，限制了强化学习在此类任务中的广泛应用。这些观察针对的是最初发布的版本，而非此后的所有检查点。(arxiv.org)\n\n一条看似可信的推理轨迹，并不能独立检验答案是否正确。R1-Zero 的准确性奖励主要检查数学题的最终答案或可执行的编程测试，而不是验证每一条中间陈述。因此，模型表现出的怀疑和自我纠正，记录的是生成行为，并不意味着整个推理过程都经过了验证。幻觉和事实准确性也必须与数学表现分开评估。2025 年 5 月发布的 R1-0528 模型卡就体现了这一区别：尽管 DeepSeek 报告称幻觉有所减少、推理能力有所提升，但该模型在 SimpleQA 事实问答上的得分却从 30.1% 降至 27.8%，而 AIME 2025 的准确率则从 70.0% 升至 87.5%。这两项基准测试都无法证明模型在不受范围限制的事实性问题上具有可靠性。(arxiv.org)\n\n开发者对过程奖励模型所做的未成功实验，暴露了监督中间推理过程的困难：如何界定一个步骤、判断其正确性，以及大规模获取标注。在这些实验中，模型利用了习得奖励信号的漏洞，而重新训练奖励模型又增加了成本。采用蒙特卡洛树搜索的实验则面临庞大的语言生成搜索空间；限制节点扩展可能陷入局部最优，而且搜索依赖于难以训练的价值模型。这些是所报告实验的局限，并不证明这两种方法不可行。(arxiv.org)\n\n2026 年 1 月 4 日修订的报告将奖励的可靠性，以及模型在可验证任务之外的泛化（机器学习）能力，列为尚待解决的问题。对于写作及其他开放式任务，学习得到的评估器可能会奖励投机取巧的做法，而不是预期的质量。报告还记录了模型在简单问题上过度推理的现象，说明推理阶段的效率问题仍未解决。(arxiv.org)\n\n安全性结果同样取决于评估方式和部署配置。在修订报告中由开发者开展的越狱研究里，研究人员将 2,232 个攻击模板与内部安全问题随机组合，再由语言模型评判器将回答归类为安全、不安全或拒绝作答。报告显示，R1 的不安全回答比例从原始问题上的 25.2% 升至越狱提示下的 85.9%。加入额外的风险控制系统后，相应比例为 8.5% 和 4.3%。这些测量结果描述的是特定测试流程和过滤配置下的表现，既不代表有害输出的普遍发生概率，也不意味着模型权重本身提供了内在的安全保证。(arxiv.org)"
    }
  ],
  "links": [
    "large-language-model",
    "reinforcement-learning",
    "fine-tuning",
    "application-programming-interface",
    "transformer-architecture",
    "context-window",
    "neural-network-inference",
    "policy-reinforcement-learning",
    "kullback-leibler-divergence",
    "tokenization",
    "qwen3",
    "chinese-language",
    "prompt-engineering",
    "experimental-design",
    "data-leakage",
    "ai-hallucination",
    "parallel-computing",
    "graphics-processing-unit",
    "copyright",
    "reproducibility",
    "training-data",
    "generalization"
  ],
  "sources": [
    {
      "title": "DeepSeek-R1 Release",
      "url": "https://api-docs.deepseek.com/news/news250120/"
    },
    {
      "title": "GitHub - deepseek-ai/DeepSeek-R1",
      "url": "https://github.com/deepseek-ai/DeepSeek-R1"
    },
    {
      "title": "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (v1)",
      "url": "https://arxiv.org/abs/2501.12948v1"
    },
    {
      "title": "更新日志 | DeepSeek API Docs",
      "url": "https://api-docs.deepseek.com/zh-cn/updates/"
    },
    {
      "title": "deepseek-ai/DeepSeek-R1-0528",
      "url": "https://huggingface.co/deepseek-ai/DeepSeek-R1-0528"
    },
    {
      "title": "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning",
      "url": "https://doi.org/10.1038/s41586-025-09422-z"
    },
    {
      "title": "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning",
      "url": "https://arxiv.org/abs/2501.12948"
    },
    {
      "title": "DeepSeek-V3 Technical Report",
      "url": "https://arxiv.org/html/2412.19437v1"
    },
    {
      "title": "GitHub - deepseek-ai/DeepSeek-V3",
      "url": "https://github.com/deepseek-ai/DeepSeek-V3"
    },
    {
      "title": "config.json · deepseek-ai/DeepSeek-R1 at main",
      "url": "https://huggingface.co/deepseek-ai/DeepSeek-R1/blob/main/config.json"
    },
    {
      "title": "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning",
      "url": "https://arxiv.org/html/2501.12948v1"
    },
    {
      "title": "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models",
      "url": "https://arxiv.org/html/2402.03300"
    },
    {
      "title": "deepseek-ai/DeepSeek-R1-Zero · Hugging Face",
      "url": "https://huggingface.co/deepseek-ai/DeepSeek-R1-Zero"
    },
    {
      "title": "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning",
      "url": "https://pmc.ncbi.nlm.nih.gov/articles/12443585/"
    },
    {
      "title": "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning",
      "url": "https://arxiv.org/html/2501.12948v2"
    },
    {
      "title": "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B · Hugging Face",
      "url": "https://huggingface.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B"
    },
    {
      "title": "DeepSeek-R1-0528 Release | DeepSeek API Docs",
      "url": "https://api-docs.deepseek.com/news/news250528/"
    },
    {
      "title": "DeepSeek-R1 更新，思考更深，推理更强",
      "url": "https://api-docs.deepseek.com/zh-cn/news/news250528/"
    },
    {
      "title": "thinking_mode_api_example_streaming",
      "url": "https://api-docs.deepseek.com/zh-cn/guides/thinking_mode_api_example_streaming/"
    },
    {
      "title": "Reasoning Outputs — vLLM",
      "url": "https://docs.vllm.ai/en/stable/features/reasoning_outputs/"
    },
    {
      "title": "DeepSeek-R1-0528 is now generally available in GitHub Models",
      "url": "https://github.blog/changelog/2025-06-04-deepseek-r1-0528-is-now-generally-available-in-github-models/"
    },
    {
      "title": "DeepSeek-R1/LICENSE at main",
      "url": "https://github.com/deepseek-ai/DeepSeek-R1/blob/main/LICENSE"
    },
    {
      "title": "LICENSE · Qwen/Qwen2.5-1.5B",
      "url": "https://huggingface.co/Qwen/Qwen2.5-1.5B/blob/main/LICENSE"
    },
    {
      "title": "LICENSE · meta-llama/Llama-3.1-8B",
      "url": "https://huggingface.co/meta-llama/Llama-3.1-8B/blob/main/LICENSE"
    },
    {
      "title": "LICENSE · meta-llama/Llama-3.3-70B-Instruct",
      "url": "https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct/blob/main/LICENSE"
    },
    {
      "title": "deepseek-ai/DeepSeek-R1 at main",
      "url": "https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}