AWS Machine Learning Blog· Pierre Lienhart·· 3 小时前AI 评分59
Deepgram 如何借助 AWS Trainium2 优化语音 AI 推理
How Deepgram optimized voice AI at scale with AWS Trainium
AI 导读
Deepgram 与 AWS 将 Nova-3 语音转文字模型移植到 AWS Trainium2,并为离线批处理推理优化内核与服务运行时。单台 trn2.3xlarge 上运行 8 个模型副本,处理的音频量较 Deepgram 此前使用的计算选项每美元提升 11–70%;Rust 运行时在吞吐量最高的批次大小下,相较多进程 Python 基线提升 7.5%。
来源:AWS Machine Learning Blog · aws.amazon.com