DeepSeek 又开源了，但这次开源的东西跟以前不一样。

以前开源的是模型本身，你拿到权重，能跑起来就算成功。但跑起来和跑得好是两回事。一个模型训完之后，怎么让它在几百块 GPU 上同时服务海量用户，怎么把延迟压下来，怎么把吞吐量拉上去，怎么让一块钱的算力干出两块钱的活，这些事情全靠中间那层推理框架。

这次 DeepSeek 开源的就是他们内部用的推理框架，叫 DeepInfer。V4.1 Flash 的大规模推理服务就是用这套东西跑的。

简单说一下它能干什么。先说第一个，它集成了一套高性能算子和深度优化的推理引擎，支持分布式推理和推测解码。然后第二个，它兼容英伟达和华为昇腾两个平台，国内外的卡都能跑。第三个，他们同时开源了一个叫 deepseek-recipe 的编解码组件，跟 DeepSeek 官方 API 的处理逻辑完全对齐，社区自己部署出来的效果和官方一样。

这件事的意义在哪呢？

之前社区拿到 DeepSeek 的模型权重，想自己部署服务，推理层面得从头摸索。怎么调度、怎么切分、怎么加速，每个团队都在重复造轮子。现在 DeepSeek 直接把自己跑通的方案公开了，大家可以在这个基础上改，省掉大量工程投入。

而且他们说了，以后新模型的推理代码也会在这个仓库里持续更新。社区拿到的不只是一个快照，是一条持续同步的线。

对想私有化部署大模型的企业来说，这个开源可能比模型本身的开源更实用。模型是能力，推理框架是把能力变成服务的最后一步。

DeepInfer: github.com/deepseek-ai/DeepInfer

deepseek-recipe: github.com/deepseek-ai/deepseek-recipe

DeepSeek开源内部推理框架