机器之心·· 6 小时前推荐指数52
百度开源文心 5.5 Flash Base 预训练基模,主打效率
刚刚,百度开源全新预训练基模,还是主打效率的Flash
AI 导读
百度 11 月 5 日发布并开放权重文心 5.5 Flash Base(ERNIE 5.5 Flash Base),这是一个稀疏 MoE 语言模型,总参数量 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K、微调与推理外扩到 1M tokens,已联合 vLLM、SGLang 提供开源生态支持。
来源:机器之心 · mp.weixin.qq.com