AI产业更新持续学习

❶持续学习（aka Test-Time Training）本周在产业里开始升温，7月底SSI宣布与NVIDIA达成长期战略合作、计划将算力扩充10倍，Ilya Sutskever（SSI创始人、OpenAI前首席科学家）罕见表态"已有值得进一步规模化的研究成果"；上周北美知名投资人Gavin Baker在播客节目中称SSI可能8月发布首款模型；

❷结合Ilya过往访谈可推测，SSI的方向大概率就是持续学习——让模型从少量经验中抽象规律并迁移到新任务，而非继续靠海量pre-training数据覆盖问题空间。持续学习的范式变化核心是"经验必须进权重"。持续学习一旦跑通，数据飞轮将从互联网存量数据切换到真实工作流的增量经验，模型将从发布即巅峰的折旧资产变成复利资产，"部署即训练"随之成立——最好的模型吸引更多人用它干更难的活、换回更高质量反馈、变得更强，领先回报从线性变复利。

❸持续学习对AI lab的格局将产生巨大影响。当前模型近乎零切换成本，Model/Harness/Context三者互可分离。而持续学习后，换模型等于开除一个积累了数月组织上下文的员工，理论上用户的切换成本会大幅提升，AI lab将形成真正意义的用户数据飞轮，从而加速AI lab的格局收敛。

❹产业对持续学习也部分持有反方观点。例如，白领知识工作大多是显性知识，AI能秒级完美吸收1M token级详细笔记，那么长上下文+检索的模式可能就够用了，且还具备无状态模型+上下文配置可组合、可审计等优点；其次，若持续学习的AI无法区分反馈质量、甚至被恶意投毒，飞轮可能转成负反馈，且对性能变化的可解释性会变得更无解。

❺持续学习对传统推理Infra提出了巨大的挑战。现在的模型推理是建立在所有用户共用同一份冻结权重，靠大batch size摊薄读权重的开销；而换到持续学习的语境下，更新 Fast Weights→每个用户的权重都不一样，batch就凑不起来，权重一更新、之前的KV缓存也会作废，这意味着