跳到正文
掘金· blackappleD·· 13 小时前同新闻AI 评分78

DeepSeek 开源推理框架 DeepInfer:KVCache 存三天、投机解码少验 30% 是怎么做到的

AI 导读

10 月 20 日,DeepSeek 将线上运行 V4.1 Flash 的推理框架 DeepInfer 以 Apache-2.0 协议开源,同时放出 token 编解码组件 deepseek-recipe 和官方推理部署 Q&A。

同一新闻,精选展示《DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 模型》

来源:掘金 · juejin.cn