微软完成2.8万亿参数模型预训练 叫板OpenAI

10月15日，微软AI部门（Microsoft AI）发布博客宣布，完成新一代自研基础模型MAI-Base-2的预训练：混合专家（MoE）架构，总参数量2.8万亿，处理每个token只激活800亿参数。官方称在四项留出集评测中，它的预训练算力效率比目前最强的开放权重基础模型DeepSeek-V4-Pro-Base高出4.2到12.3倍，在所有受测开放权重模型中垫底的是“每字节的比特数”指标——越低越好，MAI-Base-2全部领先。

训练规模相当可观：今年8月至9月的38天里，微软动用1.6万块英伟达GB200 GPU，吃下约50万亿token的训练混合数据，平均算力利用率21％，有效训练时间占比89％。与6月发布的上一代MAI-Base-1相比，新配方带来6.3至12.7倍的效率跃升；唯一训练token规模扩大约36％，且全部为有机数据——微软强调没有从其他模型蒸馏任何知识。

这一代还首次把视觉能力原生写进预训练：采用无编码器的VLM架构，视觉语料含4.5万亿唯一token，占总训练混合的18％，任务覆盖图表理解、视觉定位、空间推理、医学理解、计算机使用甚至乐谱阅读。模型的知识截止时间为2026年3月。

工程上的关键突破是“每层MoE”。上一代因为实现效率问题只能隔层使用MoE，这一代解决了动态路由导致的内存碎片和细粒度专家的单体开销两大障碍，MoE层的算力利用率从24％提升到35％；配合无丢弃路由、Muon优化器和一整套通信优化，训练才得以跑满。

比论文更劲爆的是内部表态。据Business Insider报道，微软AI业务负责人穆斯塔法·苏莱曼在周四的员工大会上说：“我们现在拥有一个更强大的预训练基础模型，其性能超过了目前驱动GPT-5.6 Sol的模型。事实上，我们训练这个模型所使用的算力，只有OpenAI的四分之一。”他透露微软私下还与OpenAI模型做过对比测试，其中包括一款内部代号“Spud”的模型。微软对相关报道不予置评，OpenAI未回应。

这番话的微妙之处在于：微软是OpenAI最大的金主与合作伙伴，持股价值可能超过千亿美元，还把OpenAI模型卖给Azure客户、用在自己的Copilot里。夸自家模型、点合作伙伴，等于公开宣示“去OpenAI依赖”路线——过去一年两家公司的关系确实渐生裂痕。目前MAI-Base-2正处在后训练阶段，权重将通过Azure AI Foundry授权给可信合作伙伴，MAI-Base-3的筹备工作也已经启动。

编译自 Microsoft AI 官方博客，原标题：“Frontier Pre-training at Microsoft AI”