Deepgram与AWS优化Nova-3在Trainium2上的推理
热点事件持续更新
Deepgram与AWS优化Nova-3在Trainium2上的推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Deepgram 与 AWS 将 Nova-3 语音转文字模型移植到 AWS Trainium2，并针对离线批处理推理优化内核和服务运行时；测试显示，单台 trn2.3xlarge 运行 8 个模型副本时，每美元处理的音频量较 Deepgram 此前使用的计算选项提高 11–70%。 Deepgram 还使用 Rust 运行时连接自有模型服务与 Trainium；在吞吐量最高的批次大小下，该运行时比多进程 Python 基线快 7.5%。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 00:23
Deepgram 如何借助 AWS Trainium2 优化语音 AI 推理报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogDeepgram 如何借助 AWS Trainium2 优化语音 AI 推理
Deepgram 与 AWS 将 Nova-3 语音转文字模型移植到 AWS Trainium2，并为离线批处理推理优化内核与服务运行时。单台 trn2.3xlarge 上运行 8 个模型副本，处理的音频量较 Deepgram 此前使用的计算选项每美元提升 11–70%；Rust 运行时在吞吐量最高的批次大小下，相较多进程 Python 基线提升 7.5%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。