Latent Space· Latent Space·· 2 天前AI 评分62
DeepSeek开源DeepInfer推理引擎：单集群日处理155万亿token，日收入2200万美元，81天回本
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek在PyTorch Conf首日开源V4.1 Flash背后的推理引擎DeepInfer及deepseek-recipe组件，支持NVIDIA与华为昇腾平台，但KV缓存管理和负载均衡组件尚未完全发布。
来源：Latent Space · latent.space