AI 日报 · 2026 年 10 月 20 日 · 星期二
MYHOT
Hugging Face推出TorchNeuron,原生支持AWS Trainium
Hugging Face推出TorchNeuron,这是面向AWS Trainium的PyTorch原生后端,将于2026年10月20日开放公测。Transformers、Diffusers、Accelerate、PEFT和TRL可直接使用该后端;文中称,TorchNeuron开箱支持最常用的前100种文本生成模型架构中的89%,Optimum Neuron v0.4.5为46%。
模型发布/更新
MiniMax 发布 M3.1 Flash 推理模型,单任务成本约 $0.22
MiniMax 发布 M3.1 Flash 推理模型,其 Artificial Analysis Intelligence Index 得分为 42,较 M3 高 13 分,单任务成本约 $0.22。
行业动态
德国与NVIDIA签署联合意向声明,推进工业AI并计划投资四家初创企业
德国联邦政府与NVIDIA签署联合意向声明,计划合作推进面向物理AI的前沿模型,并扩大双方与德国“工业4.0平台”的合作。NVIDIA创始人兼CEO Jensen Huang宣布计划投资Agile Robots、Avelios Medical、Mirelo和Reflex Aerospace,这是NVIDIA近100亿美元欧洲支持承诺的一部分。
技巧与观点
AWS 介绍如何用 vLLM 双向 KV 传输降低多轮智能体工作负载的 TTFT
AWS 介绍了 vLLM 的双向 KV 缓存传输机制,使预填充节点能在后续轮次复用解码节点保留的 KV,减少重复计算并降低 TTFT。在 Amazon EC2 P5en、EFA 连接的 1P1D 部署基准中,Qwen3-32B 的 TTFT 最多降低 1.6x,zai-org/GLM-5-FP8 最多降低 3.3x;实际结果会随工作负载和配置变化。
TwelveLabs Pegasus 1.5 现已在 Amazon Bedrock 提供
TwelveLabs Pegasus 1.5 现已在 Amazon Bedrock 的美国西部(俄勒冈)区域提供,可分析长达 2 小时的视频,并返回带时间戳的结构化元数据。新功能包括视频分段、结合参考图像的多模态提示和无需预索引的即时处理;视频可通过 Amazon S3 URI 或不超过 25 MB 的 base64 字符串提交。
快讯
- Amazon SageMaker Studio 接入新版 AWS 注册流程,简化新用户上手AWS Machine Learning Blog
- Amazon Bedrock 为 Anthropic Claude 模型提供结构化输出AWS Machine Learning Blog
- vLLM 如何用 push-based KV transfer 改善分离式推理的 TTFT 和 TPOTAWS Machine Learning Blog