DeepSeek 开源内部推理框架 DeepInfer
先了解这件事
DeepSeek 将内部推理框架 DeepInfer 以 Apache-2.0 协议在 GitHub 开源，同时开源 Token 编解码组件 deepseek-recipe 并发布官方推理部署 Q&A。DeepSeek 称，该框架已支撑 V4.1 Flash 的大规模线上推理。 DeepInfer 基于 vLLM，支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，兼容英伟达 SM100 GPU 与华为昇腾 950 NPU，目前仅支持 DeepSeek-V4.1-Flash 一款模型；KVCache 系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未纳入开源范围。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- The Decoder精选DeepSeek 开源推理引擎 DeepInfer，支撑 V4.1-Flash 模型
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型快速响应的推理服务软件。该框架基于 vLLM，提供优化计算内核、多芯片分布式处理和更快的文本生成技术；DeepSeek 同时发布 deepseek-recipe，用于复现官方 API 的 token 处理方式，使自托管环境表现一致。
- 掘金精选DeepSeek 开源推理框架 DeepInfer：KVCache 存三天、投机解码少验 30% 是怎么做到的
10 月 20 日，DeepSeek 将线上运行 V4.1 Flash 的推理框架 DeepInfer 以 Apache-2.0 协议开源，同时放出 token 编解码组件 deepseek-recipe 和官方推理部署 Q&A。
- IT之家精选DeepSeek 宣布将内部推理框架 DeepInfer 全面开源
DeepSeek 官宣将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台，已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
本事件热度走势
- 可比范围当前
- 23
- 可比范围峰值
- 2510月21日 03:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。