DeepSeek开源推理框架DeepInfer，AI算力成本有望大幅降低

10月20日，国内人工智能公司深度求索（DeepSeek）通过官方微信公众号宣布，正式将其内部推理框架DeepInfer开源，旨在帮助广大开发者和企业以更低成本部署和运行大规模AI模型。

DeepSeek方面表示，大模型的能力边界虽然由模型自身决定，但如何以合理成本向用户提供超大规模模型服务，很大程度上取决于推理框架的效率。推理框架负责统筹调度整个算力集群，其运行效率直接决定了AI服务的算力成本与电力消耗。

此次开源的DeepInfer框架整合了多项先进优化技术，包括分布式推理、推测解码以及缓存复用等。这些技术能够显著提升模型处理请求的速度，同时有效减少重复计算，从而更充分地利用芯片算力资源。

在硬件适配方面，DeepInfer开源版本已支持英伟达SM100图形处理器和华为昇腾950平台，覆盖了当前主流的AI算力硬件生态。该框架目前可运行DeepSeek旗下的V4.1 Flash模型。根据官方披露的实测数据，采用DeepInfer系统后，单一计算集群每天可处理高达155万亿个词元（Token），展现出极强的吞吐能力。

值得关注的是，DeepSeek还同步开源了名为"deepseek-recipe"的词元编解码组件。该组件可帮助第三方开发者在部署模型时，获得与DeepSeek官方服务一致的应用程序接口处理体验，降低开发者的适配门槛。

彭博社分析指出，AI模型的运行成本不仅取决于模型本身的规模，还受推理软件效率的显著影响。DeepSeek通过开放核心技术，有望帮助云服务商及企业显著降低AI模型的部署与运营成本，并促使更多开发者借鉴其优化经验。推理成本的下降，还可能进一步提升AI托管服务商的利润率，并最终转化为面向终端客户的更低收费。

不过，此次开源并非毫无保留。DeepSeek并未开放完整的推理服务系统，其中缓存管理、负载均衡等关键组件仍与公司内部基础设施深度绑定，暂未公开。此外，DeepInfer在实际部署中究竟能带来多大的效率提升，目前尚缺乏独立的第三方测试数据验证。

总体来看，DeepInfer的开源是DeepSeek在AI基础设施层面的一次重要技术分享。在当前大模型竞争日趋激烈的背景下，降低推理成本已成为行业共同关注的焦点，这一举措或将为整个AI产业的降本增效提供新的思路和工具。

本文由公开信息整理，图片来源于网络
#人工智能 #深度求索 #财经