跳到正文
AWS Machine Learning Blog· Josh Longenecker·· 1 小时前精选AI 评分67

AWS 教程:使用 torchtitan 在 Trainium 上训练 Qwen3

Train Qwen3 on AWS Trainium with torchtitan

AI 导读

AWS 介绍如何在单台 trn2.48xlarge 上使用 torchtitan 训练 Qwen3,提供 Transformers v5、torchtitan 原生模型和 NKI MoE kernel 三种配置。教程还演示通过 override registry 接入自定义 NKI kernel,并说明检查训练损失、配置覆盖和并行设置的方法。

推荐理由

文章把在单台 trn2.48xlarge 上训练 Qwen3 的三种配置与自定义 NKI kernel 接入步骤串联起来,便于复用其部署和验证流程。

来源:AWS Machine Learning Blog · aws.amazon.com