DeepSeek 全面开源内部推理框架 DeepInfer

10 月 20 日，DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源。这套框架正是支撑 DeepSeek-V4.1-Flash 大规模线上推理服务的生产系统，集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并同时兼容英伟达 GPU 与华为昇腾平台。DeepSeek 表示，大模型的能力边界由推理效率决定，开源 DeepInfer 是希望推动全球 AI 更加公平、透明、可信赖。

要点

• 开源的是”自用生产级”推理系统，而非演示玩具，与过去只开放模型权重的做法明显不同。
• 支持分布式推理、推测解码、结构化输出等线上关键能力，兼容英伟达与昇腾双平台。
• 此前社区多依赖 vLLM、SGLang 等第三方框架部署开源模型，官方框架入场可能改变格局。

点评

模型厂商把自家线上推理栈开源，相当于把”藏了一手”的工程know-how摆上台面，友商压力不小。对个人开发者而言，自建推理的成本门槛有望再降一档，值得拉下来跑一跑基准测试。

—— 综合公开报道整理