Kimi K2 是由月之暗面开发的大语言模型系列，于 2025 年 7 月推出。其主要特点是采用专家混合模型架构，总参数量约为一万亿，每个词元激活的参数约为 320 亿。该系列面向通用语言任务、编程以及与外部工具交互的 AI智能体。月之暗面发布了预训练模型和指令遵循模型的权重。(arxiv.org)
架构
Kimi K2 采用稀疏 Transformer架构。其专家混合层不会对每个输入都使用全部参数，而是将每个词元路由至选定的一部分专家网络。根据技术报告，模型总参数量约为 1.04 万亿，在模型概述中通常取整为一万亿，每个词元激活的参数约为 320 亿。这一区别将模型的总容量与处理单个词元所需的计算量区分开来。(raw.githubusercontent.com)
原始模型公布的规格如下：(github.com)
| 组件 | 规格 |
|---|---|
| Transformer 层数 | 61 层，其中包含 1 个稠密层 |
| 路由专家数 | 384 |
| 每个词元选用的路由专家数 | 8 |
| 共享专家数 | 1 |
| 注意力头数 | 64 |
| 词表规模 | 约 160,000 个词元 |
| 初始上下文窗口 | 128K 个词元 |
| 注意力机制 | 多头潜在注意力 |
| 激活函数 | SwiGLU |
多头潜在注意力会压缩为注意力计算而保留的表示，从而减少神经网络推理过程中键和值缓存所占用的内存。与激活整个网络相比，稀疏专家激活减少了每个词元所需的计算量，但仍然需要存储或分布式部署规模大得多的完整权重集合。因此，仅凭激活参数量无法说明模型的部署要求。(raw.githubusercontent.com)
训练
最初的 K2 模型使用了 15.5 万亿个词元进行预训练。词元是分词与词元化过程产生的单位，不一定对应一个完整的单词。其训练引入了 MuonClip，这是一种将 Muon 优化器与名为 QK-Clip 的稳定机制相结合的优化方法。QK-Clip 用于处理过高的查询—键注意力分数，这类分数可能导致大规模训练不稳定。开发者报告称，预训练全程未出现损失尖峰。(arxiv.org)
后训练侧重于让模型从生成回答转向执行任务。训练过程包括大规模合成工具使用交互，以及涉及真实环境和模拟环境的强化学习。这些交互提供了选择工具、解读工具输出并继续推进任务目标的示例。技术报告描述了一个联合强化学习阶段，旨在同时改善一般性回答和智能体行为。(arxiv.org)
主要变体
Kimi-K2-Base 是预训练检查点，旨在为研究、微调和定制系统提供基础。Kimi-K2-Instruct 是经过后训练的检查点，用于对话辅助和工具使用。最初发布的 Instruct 版本在设计上不经过专门的长时间思考阶段就直接作答；这体现了它与后续 Thinking 变体在运行方式上的区别，并不意味着它不具备推理能力。(github.com)
Kimi-K2-Instruct-0905 于 2025 年 9 月公布，将上下文窗口从 128K 个词元扩展至 256K 个词元。其模型卡重点介绍了智能体编程和前端开发能力的改进。开发者报告称，在该版本所述的评测条件下，其 SWE-bench Verified 得分为 69.2%，而最初的 Instruct 检查点为 65.8%。(forum.moonshot.ai)
Kimi K2 Thinking 增加了与工具调用交错进行的扩展推理，并保留了 256K 词元的上下文窗口。其后训练采用量化感知训练，以支持原生 INT4 部署。月之暗面报告了涉及连续调用工具 200 至 300 次的实验，将该变体定位为适用于更长研究、编程和写作工作流的模型。这些是特定测试条件下报告的能力，并不保证每项任务都能达到同样的结果。(huggingface.co)
工具使用与应用
K2 的工具调用接口允许应用程序为可用函数提供描述和参数模式。模型生成结构化请求后，由外围软件执行函数，并将结果返回对话。因此，工具使用依赖外部执行系统：模型并不会仅仅因为生成了一次调用，就获得对文件、网络或程序不受限制的访问权限。(github.com)
已记载的应用包括代码仓库级软件工程、代码生成、命令行任务和多步骤信息收集。区分模型本身与其执行框架十分重要：提示词、工具、权限以及允许尝试的次数，都是被评测系统的组成部分。(arxiv.org)
评测与局限
对于最初的 Instruct 模型，月之暗面报告称，在仅允许尝试一次的智能体设置下，其 SWE-bench Verified 得分为 65.8%；此外，LiveCodeBench v6 得分为 53.7%，GPQA-Diamond 得分为 75.1%。最初的评测主要比较不进行扩展思考的模型。这些数字反映的是特定基准版本和评测规程下的表现，并非对模型质量的普适排名。(arxiv.org)
后续版本采用了不同的推理预算和工具配置。例如，K2 Thinking 公布的结果区分了不使用工具的推理、工具辅助评测以及投入更多计算资源的设置。其模型卡还指出，面向消费者的聊天界面使用的工具更少，工具调用序列也比某些基准配置更短，因此聊天中的表现未必能复现公布的分数。(huggingface.co)
部署时采用的数值精度也是造成差异的因素之一。月之暗面的供应商验证项目将外部服务商的工具调用响应与自有服务进行比较，并将模型版本、推理引擎版本和工具调用格式列为影响兼容性的相关因素。因此，不同服务商使用相同的模型名称，本身并不足以证明其实现或行为完全一致。(github.com)
分发与许可
最初的检查点以分块 FP8 格式分发，部署文档涵盖了 vLLM、SGLang、KTransformers 和 TensorRT-LLM 等推理框架。这使用户能够独立部署模型，而不必仅通过托管的应用程序编程接口使用它。(huggingface.co)
代码和权重采用修改版 MIT 许可证。除基本的授权和声明保留条款外，该许可证还要求：月活跃用户超过 1 亿，或月收入超过 2,000 万美元的商业产品或服务，必须显著展示“Kimi K2”品牌标识。因此，不应将此次发布描述为采用未经修改的 MIT 许可证；“开放权重”说明模型参数可以获取，并不意味着其条款与标准开源软件许可证相同。(github.com)
参考来源
- Kimi K2: Open Agentic Intelligencearxiv.org
- GitHub - MoonshotAI/Kimi-K2github.com
- Kimi K2 — Technical Reportraw.githubusercontent.com
- Kimi K2-0905 updateforum.moonshot.ai
- moonshotai/Kimi-K2-Instruct-0905huggingface.co
- moonshotai/Kimi-K2-Thinkinghuggingface.co
- GitHub - MoonshotAI/K2-Vendor-Verifiergithub.com
- Kimi-K2/LICENSEgithub.com