解读 Kimi K3：为什么这个开放权重模型值得关注

Image: Moonshot AI / Kimi K3 repository. Use subject to the repository’s license and attribution requirements.

Kimi K3 之所以受到关注，是因为它把前沿规模的能力与开放权重发布结合在了一起。Moonshot AI 将它描述为一个 2.8 万亿参数、原生多模态的 agentic model，并支持一百万 token 的上下文窗口。

根据官方 model card 绘制的概念架构图。

需要理解上下文的数字

K3 是 Mixture-of-Experts 模型。公开架构包含 896 个 experts，每个 token 选择 16 个 experts，约有 104B activated parameters。总参数更接近容量，激活参数更接近每个 token 使用的计算量。但任何一个数字都不能单独代表 serving 成本。

KDA 与 Attention Residuals

Kimi Delta Attention 旨在改善长序列中的信息流，同时降低 full attention 的成本特征。Attention Residuals 改变信息沿模型深度混合的方式。这些是架构层面的声明，应结合 technical report 和独立 serving 测量阅读，而不应被当成所有任务的质量保证。

原生视觉与长程任务

K3 在模型流程中接收视觉输入，并面向 coding、knowledge work 和 agentic tasks。长上下文可以帮助 agent 保留代码库文件、工具结果和中间计划，但它不能消除上下文管理、权限、测试或人工审核的需要。

开放权重仍然需要完整的 inference 与 operations stack。

发布为什么重要

开放权重让研究者和工程师比单纯使用托管 endpoint 拥有更多 evaluation、deployment 和 adaptation 控制权。但责任也转移给 operator：硬件、安全、模型更新、数据权利、输出验证和许可证合规都必须自己处理。

Kimi K3 license 并不等于 public domain 或 unrestricted use。超过特定收入或用户门槛的商业产品可能需要 attribution 或合同。部署前应直接阅读当前许可证。

K3 的意义不只是 2.8T 这个数字，而是它说明架构、稀疏性、多模态、推理系统和分发方式已经成为同一个 engineering story。