DeepSeek开源推理框架 算力成本再降

报价宝 10 月 20 日消息，DeepSeek 今日宣布，在陆续开源一系列模型、TileLang 编译工具与推理算子库之后，进一步把内部使用的推理框架 DeepInfer 全面开源，同批放出的还有生产级 Token 编解码组件 deepseek-recipe。

官方给出的理由很直接：模型的能力边界由模型本身划定，但能不能以合理成本提供超大规模服务，取决于一个长期不被外界看见的中间层——推理框架。它负责统筹调度庞大的算力集群，效率高低直接决定 AI 服务的算力开销和电力消耗。

从 GitHub 仓库看，DeepInfer 目前适配 DeepSeek-V4.1-Flash，定位是面向规模化场景的离线推理。并行方面支持 Attention DP 与均衡 CP，以及 MoE 的专家并行 EP 加 EPLB 动态负载均衡；解码侧提供 DSpark 与置信度调度的验证机制、SWA 有界回放、零开销异步批调度、批不变推理、确定性采样与结构化输出。所谓批不变，是指同一段文本无论被塞进多大的批次，输出结果都保持一致，这对需要复现结果的企业应用很关键。

算子层复用了 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自研的 TileLang 内核，官方表示这些正是支撑其对外 API 的那一套。结构化输出支持正则表达式、JSON Schema 与 EBNF 文法三种约束方式。

更值得留意的是硬件口径：仓库明确列出支持英伟达 SM100 GPU 与华为昇腾 950 NPU 两条路线。对打算私有化部署的企业来说，这意味着同一套推理栈可以在两种算力底座上运行，不必被单一供应渠道锁死。

DeepSeek 称，官方 DeepSeek V4.1 Flash 的高吞吐、低延迟服务已经跑在 DeepInfer 上，未来新模型的推理代码与后续优化也会持续在这个仓库中更新。

但这次开源并非整套服务。仓库 README 明确写着，要搭一个完整推理服务，还需要 KV cache 系统，以及 VE、Prefill、Decode 分离部署等组件，而这些本次并未包含。换句话说，DeepInfer 交出的是一台发动机，油箱与传动轴仍需自行配置。

推理框架长期是各家云厂商的隐性壁垒，公开它等于把「怎么把单位 Token 成本压下来」从独家经验变成公共知识。对中小开发者和自建集群的企业，这部分工程量的节省往往比模型权重更实际。

编译自 DeepSeek 官方公告及 GitHub 仓库说明，原标题："DeepInfer: High-performance, large-scale inference framework for DeepSeek models"