DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天

摘要

DeepSeek 开源了推理框架 DeepInfer，已在 V4.1 Flash 的线上服务中运行：单集群日吞吐 155 万亿 Token，Prefill 用 8 卡机器、Decode 用 64–128 卡超节点，KVCache 保留 72 小时以上，兼容 NVIDIA 与华为昇腾。同时开源的还有 Token 编解码组件 deepseek-recipe，但 KVCache 管理和负载均衡因与内部基础设施耦合较深尚未完整开放，想复刻其线上架构的人需要留意这一缺口。