AWS Machine Learning Blog· Kevin Shabahang·· 4 小时前AI 评分58
AWS Trainium2 上训练与部署 i14 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 与 AWS 在单台 trn2.48xlarge 上训练并部署了 Laplace 3B 线性注意力模型，采用 GLA 和固定循环状态，以 native PyTorch 支持 Trainium2。
来源：AWS Machine Learning Blog · aws.amazon.com