超越更大的模型：AI 模型研究的新方向

模型研究中最有趣的问题，已经不只是增加多少参数，而是如何更聪明地使用计算资源。

在推理时思考

Test-time compute 允许模型探索多个方案、拆解问题、使用 checker，并在输出前修改答案。这改变了成本与质量之间的曲线：困难任务可以获得更多推理计算，简单任务则保持快速。

稀疏能力与真实基础设施

Mixture-of-Experts 将总容量与激活计算分开。Router 为每个 token 选择少量 experts。难点不只是路由质量，还包括负载均衡、通信、内存放置和 serving 效率。

原生多模态

纯文本界面会迫使图像、音频和视频经过可能损失信息的转换。原生多模态系统可以学习共享表示，并多轮执行感知、推理和编辑。近期的 multimodal test-time scaling 研究指向一种更强的范式：模型检查视觉结构，而不是一次性回答。

工具与可验证结果

如果结果可以被检查，例如可执行代码、证明、数据库查询或仿真，那么这个信号可以用于训练和推理。这比单纯奖励流畅解释更可靠。但模型仍需要边界：工具权限、超时、沙箱和明确的 fallback。

长上下文不是记忆

一百万 token 的窗口可以容纳大型语料，但不保证检索、注意力和综合结果正确。系统仍需要分块、索引、摘要、状态跟踪，以及检测信息丢失的测试。

方向已经很清楚：前沿 AI 的进步正在成为 systems problem。架构很重要，但数据质量、评估设计、推理 kernel、硬件和人类监督同样重要。实际问题不是“哪个模型赢了”，而是“在什么预算、任务和验证机制下，它仍然可靠？”