The Decoder· Matthias Bastian·· 3 小时前AI 评分65
DeepSeek 开源推理框架 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 将内部推理框架 DeepInfer 以 Apache License 2.0 开源，用于让 V4.1-Flash 模型快速、大规模地生成回答。该框架基于 vLLM，包含优化计算内核、多芯片分布式处理和加速文本生成技术；DeepSeek 还发布了 deepseek-recipe，以复现官方 API 的 token 处理方式。
来源：The Decoder · the-decoder.com