百度开源文心5.5 Flash Base
报价宝综合消息百度开源文心5.5 Flash Base
11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿Token完成预训练；预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。
百度称，该模型在知识、推理、数学、代码、多语言和长上下文等多项基准测试中刷新同尺寸模型的最佳成绩，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等同类模型，模型权重已在Hugging Face等平台开放下载。
效率是这一版本的设计主线。注意力机制上，模型引入Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来，门控投影权重参数减少75％；专家路由采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，降低单一评分偏差的影响。
训练目标方面，模型引入ECHO机制，复用主干最后一层学习预测后续Token，无需额外的MTP模块即可提前规划序列走向，有效提升推理与代码能力。百度表示，随着大模型应用从文本问答延伸到长文档分析、多轮交互与智能体任务，如何兼顾能力与资源利用效率已成为研发重点，此次开源旨在为开发者构建定制化专业模型提供技术底座。
" />
编译自新华网报道，原标题："百度开源文心5.5 Flash Base"
