Google Research 提出用于 LLM 持续学习的睡眠框架

Google Research 提出睡眠框架，让 LLM 在主动交互与离线记忆巩固之间周期切换，将短期上下文知识写入长期参数，以持续学习并缓解灾难性遗忘。框架通过扩展 MoE 记忆模块、知识蒸馏和“梦境”合成训练样本实现记忆巩固与自我改进；实验展示模型可保留最长 10M tokens 的长上下文知识，并提升复杂推理能力。