The Decoder· Matthias Bastian·· 2 小时前AI 评分70
百度发布280B参数的开源基础模型 ERNIE 5.5 Flash Base
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读
百度发布 ERNIE-5.5-Flash-Base，这是一款未经过微调或后训练的开放基础模型，采用 MoE 架构，总参数量为280B，每次输入激活14B参数。模型使用33.5万亿 tokens 进行预训练，训练上下文长度最高为128,000 tokens，并设计为在微调和推理时支持最高1,000,000 tokens；权重以 FP8 和 BF16 格式发布在 Hugging Face。
来源：The Decoder · the-decoder.com