昊梵体育网

10 月 20 日,DeepSeek 宣布全面开源内部推理框架 DeepInfe

10 月 20 日,DeepSeek 宣布全面开源内部推理框架 DeepInfer,同步开源 Token 编解码组件 deepseek-recipe,帮助开发者优化大规模模型部署,降低算力成本与能源消耗。

DeepInfer 负责模型运行与算力调度,支持分布式推理、推测解码和结构化输出,兼容英伟达与华为昇腾平台。DeepSeek 表示,该框架已用于 V4.1 Flash 的大规模推理服务,后续新模型的推理代码与优化也将持续更新。

同步开放的 deepseek-recipe 与官方 API 处理逻辑对齐,帮助社区部署获得一致的接口体验。

DeepSeek开源DeepInfer大模型开源AI算力