谷歌让AI学会睡觉 边用边学不忘旧知识
大语言模型的知识为什么会过期？谷歌研究团队近日发布博文，介绍一项名为睡眠框架（Sleep Framework）的持续学习研究成果，试图让模型在部署之后也能持续吸收新知识，而不忘掉旧本领。相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
谷歌指出，当前主流大模型完成预训练后便进入相对静态的部署状态，知识存在明确的截止日期；依赖上下文学习虽然能临时吸收新信息，但会话结束即丢失；若用新数据反复微调，又容易引发灾难性遗忘，学会新技能的同时旧能力明显退化。
这套方案借鉴了人类睡眠中的记忆巩固机制，把模型运行划分为清醒与睡眠两个阶段。清醒时模型接收输入，把信息暂存于短期记忆；进入睡眠阶段后暂停处理新输入，转而进行记忆整合与自我改进：通过参数扩展、混合专家记忆块和知识蒸馏，把脆弱的短期上下文信息写入长期参数，同时避免覆盖既有知识。随后的做梦环节则让模型生成并筛选合成训练样本，借助强化学习反复练习，以提升推理与泛化能力。
实验结果显示，该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法：模型可处理最长约1000万词元的上下文，在满语、Kalamang等未见语言的多阶段持续学习中保持接近零的性能下降，在AIME 24/25等数学基准上的准确率也更高。
需要说明的是，该论文的预印本此前已在arXiv公开，此次博文是对方法的系统介绍；谷歌也强调，睡眠、做梦只是借用的类比，整个框架完全运行在固定架构和人工定义的训练规则之内。研究团队认为，这类生命周期设计为构建自主持续学习的AI系统提供了一条路径。
编译自 IT之家，原标题：「告别知识截止日：谷歌让 AI 学会「睡觉」，边用边学还不忘旧知识」
