昊梵体育网

[LG]《Can We Break LLMs Out of Self-Loops

[LG]《Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering》S Yu, T Yu, X Jiang, R Surana… [UC San Diego & Adobe Research] (2026)

在复杂逻辑推理领域,大模型常陷入“自我循环”的死胡同,即在推理链中不断重复验证或原地打转。过去的方法受困于提示词工程或全局强化学习,本质原因是无法深入模型内部,对推理过程中细粒度的认知状态转换进行实时监控与干预。

本文的核心洞见是:把推理过程重新看作潜空间状态的连续跳转。通过将隐藏层特征聚类为不同的认知阶段,提取出区分“原地踏步”与“逻辑推进”的特征方向向量。当检测到模型陷入循环时,通过在残差流中注入该向量进行动态引导,强制模型跨越到下一个逻辑节点。

这项工作真正留下的遗产是证明了无需重新训练,即可实现对大模型思维轨迹的精准外科手术式引导。它为后来者打开了实时调控模型推理流向的新门,但尚未跨过的门槛是如何在不同任务间建立标准化的状态对齐协议,以实现更普适的干预控制。

arxiv.org/abs/2607.18100 机器学习 人工智能 论文 AI创造营