DeepSeek开源DeepInfer推理框架

2026年10月20日下午，DeepSeek开源其内部使用的推理框架DeepInfer，以及配套的token编解码组件deepseek-recipe，二者以Apache 2.0许可证发布。据36氪搜索RSS源10月22日报道，DeepInfer目前支撑DeepSeek大规模推理服务，当前支持DeepSeek-V4.1-Flash，主要面向大规模部署，兼容英伟达SM100 GPU与华为昇腾950 NPU，并整合优化算子、分布式并行、推测解码、异步调度等能力，也支持按JSON Schema等规则约束输出。报道同时说明，当前开源仓库提供离线推理及支撑大规模服务的核心能力；完整线上服务仍需配套KV Cache系统、视觉编码、Prefill/Decode分离部署及跨副本负载均衡等组件。该报道还提及DeepSeek披露单集群日吞吐155万亿token、API毛利率测算82%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。