Latent Space· Latent Space·· 12 天前精选AI 评分76
DeepSeek 开源 DeepInfer 推理框架，披露单集群 155T tokens/日服务量
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产推理框架 DeepInfer，并披露其支撑 V4.1 Flash 的单集群 155T tokens/日、96% 输入缓存命中率等数据。
推荐理由
文章对照 DeepInfer 与 vLLM 的复现结果，并拆解缓存命中率、硬件成本与收入口径，帮助读者区分生产服务能力、推理贡献利润和公司整体利润。
来源：Latent Space · latent.space