[CL]《Can a Language Model Learn Facts Continually in Its Weights?》C O'Neill [Baseten] (2026)

在大模型持续学习领域，让模型通过权重更新（如微调）获取并保留新知识是一个悬而未决的难题。过去的方法受困于新知识无法灵活运用或在后续更新中迅速遗忘，本质原因是权重写入往往只实现了“陈述性记忆”的存储，而非“功能性语义”的整合。

本文的核心洞见是：把知识的写入重新看作一个“问题寻址”而非“数据覆盖”的过程。由此，通过多样化改写（Diverse Restatements）而非单一陈述进行训练这一关键操作，使模型跨越了从“死记硬背”到“逻辑应用”的认知跳跃，显著提升了知识在后续更新中的存活率。

这项工作真正留下的遗产是证明了“遗忘”本质上是访问路径的丢失而非存储内容的擦除。它为后来者打开的新门是利用冻结参考模型进行蒸馏以保护通用能力，但尚未跨过的门槛是：在不依赖外部上下文（Context）的情况下，如何为权重内的知识建立一套持久且可被复杂推理调用的“寻址机制”。

arxiv.org/abs/2607.11020 机器学习 人工智能 论文 AI创造营