AWS Machine Learning Blog· Mijanur Palash·· 2 小时前精选AI 评分64
AWS 介绍在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 的多语言推理方法
Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod
AI 导读
AWS 展示了在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B，使其按指定语言进行推理和作答。SFT 将推理语言正确率从 22% 提升至 100%，GRPO 又将答案语言正确率从 62% 提升至 70%。Qwen2.5-7B 对照实验显示，GRPO 在多语言推理任务上带来 6 个百分点提升，但在基准准确率已达 90.5% 的 GSM8K 上没有增益。
推荐理由
文章用 GPT-OSS-20B 和 Qwen2.5-7B 的对照结果，说明 SFT 与 GRPO 分别适用于缺失行为和已有提升空间的行为。
来源：AWS Machine Learning Blog · aws.amazon.com