AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选AI 评分77
AWS 介绍如何用 vLLM 双向 KV 传输降低多轮智能体工作负载的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 介绍了 vLLM 的双向 KV 缓存传输机制，使预填充节点能在后续轮次复用解码节点保留的 KV，减少重复计算并降低 TTFT。在 Amazon EC2 P5en、EFA 连接的 1P1D 部署基准中，Qwen3-32B 的 TTFT 最多降低 1.6x，zai-org/GLM-5-FP8 最多降低 3.3x；实际结果会随工作负载和配置变化。
推荐理由
文章拆解了双向 KV 传输如何通过跨轮复用减少重复预填充计算，并用两种模型的基准数据展示长上下文下的 TTFT 变化。
来源：AWS Machine Learning Blog · aws.amazon.com