AWS Machine Learning Blog· Sunita Nadampalli·2026-10-20 00:05· 2 小时前精选AI 评分60

vLLM 如何用 push-based KV transfer 改善分离式推理的 TTFT 和 TPOT

Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

AI 导读

AWS 介绍了 vLLM 的 push-based NIXL connector，通过让 decode 端提前注册目标 KV blocks，并将传输准备移到 prefill 端后台线程，缩短分离式推理的 TTFT 关键路径。

推荐理由

文章拆解了 push 与 pull 在 KV 传输协调和关键路径上的差别，并给出 Qwen3-32B 的对照数据，便于评估部署取舍。

来源：AWS Machine Learning Blog · aws.amazon.com