Latent Space·· 2 小时前精选AI 评分76
DeepSeek 开源生产推理框架 DeepInfer，披露集群吞吐与缓存数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了用于其生产推理的 DeepInfer，并发布面向 V4.1 Flash 的推理引擎及 API 处理组件 deepseek-recipe。
推荐理由
DeepInfer 的发布同时揭示了开源推理引擎与完整生产服务之间的边界；文中还结合 vLLM 对比和缓存占比，梳理吞吐及收入估算的适用条件。
来源：Latent Space · latent.space