AWS Machine Learning Blog· Shantanu Tripathi·· 1 小时前精选AI 评分76
Amazon SageMaker Inference 支持用 NVIDIA MIG 分区部署 GPU 端点
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现支持通过 NVIDIA Multi-Instance GPU（MIG）将物理 GPU 划分为硬件隔离的分区，并将不同模型部署到各自分区。
推荐理由
文章说明了 GPU 分区的配置边界，并用 H100 分区与完整 A100 的对照展示性能和单位输出成本随流量变化，便于按工作负载评估选型。
来源：AWS Machine Learning Blog · aws.amazon.com