DeepSeek开源内部推理框架10月20号 DeepSeek 把内部推理框架 DeepInfer 放了出来，兼容英伟达 SM100 和华为昇腾950，自家 V4.1 Flash 就是靠它扛的高吞吐服务，同批还开源了对齐官方 API 的 deepseek-recipe。

完整 KV 缓存系统、预填充与解码分离部署、副本间负载均衡，这几个真要上生产线的组件，这次没在里面。它更像是把离线推理和规模化服务的核心能力先交出来，不是一套拿过去就能对外扛流量的完整方案。

但核心能力本身够硬。推测解码、SWA Bounded Replay 这些招，干的就是同一批卡多跑点活、少烧点电。对小团队做私有化部署，这部分经验比再发一个模型有用。

仓库眼下只挂 V4.1 Flash 一个模型，硬件也就那两块，换模型换卡都得自己调。

最实在的受益者，是本来就有工程团队、只是被推理效率卡住的公司。