AWS Machine Learning Blog· Mona Mona·· 2 小时前精选AI 评分72
AWS 介绍 Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 介绍了 Amazon SageMaker AI 上 fused MoE 模型的多项内核优化，目标是在 Hopper GPU 上提升推理吞吐并降低 TTFT。
推荐理由
文章拆解了针对 Hopper GPU 上 fused MoE 推理的三类优化，并给出各自的吞吐或 TTFT 改善数据，可了解内核布局、后端路由与编译策略如何影响服务性能。
来源：AWS Machine Learning Blog · aws.amazon.com