赛事咨询热线 +86 +86 158 9512 3536
最近,人工智能领域出现了一篇颠覆常识的研究论文。该论文由微软研究院主导,研究对象是目前备受关注的AI Agent。
按照常规认知,Agent的记忆越多,其表现应该越出色。然而,这篇于10月5日发表在arXiv上的论文《Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents》提出了相反的观点:交互时间越长,Agent越容易陷入思维定势。 针对这一问题,微软提出的解决方案看似简单直接:定期清除聊天记录。
同一个Agent,运行八次,结果如同八个不同个体
研究人员聚焦于一种“自动进行科研”的Agent。其工作流程是:提出一个方案,执行实验,查看评分,然后根据反馈提出下一个方案。这一过程循环往复,持续数小时甚至数天。
他们让同一个Agent在相同任务上独立运行了八次。理论上,结果应大致相似,但实际最终得分从68.3到100.0不等,中位数为81.9,最佳与最差结果之间相差超过30分。
更令人沮丧的是,增加计算资源也无济于事。对于表现不佳的几次运行,即使投入大量额外计算,Agent也只是在原地徘徊,差距基本无法弥补。
原因何在?研究团队将每次运行产生的方案,根据“功能相似度”绘制成二维地图,发现每次运行的方案都聚集在地图的一个小区域内,且自始至终没有显著移动。他们将这类区域命名为“思维盆地”(idea basin)。八次运行分别落入了五个不同的盆地。
同一个Agent在相同任务上运行八次。左图:分数随计算资源投入的变化,八次运行在不同高度趋于平稳,最终得分从68.3到100.0。右图:按功能相似度绘制的方案地图,八次运行缩进五个“思维盆地”。
这好比一个装修团队,第一天确定了北欧风格,之后购买的每件家具都向北欧风格靠拢。即使地中海风格可能更适合这个户型,他们也想不到,因为手机里存满了北欧风格的参考图。聊天记录,就是Agent手机里的那些参考图。
值得一提的是,这些Agent本身具备“自动压缩聊天记录”的机制,当对话过长时会自行总结再继续。但实际测试表明,仅靠压缩摘要,仍无法跳出思维盆地。
微软的解决方案:记忆清空
该方法名为Fork-and-Flush,可译为“分叉加清空”,包含两个步骤。
分叉(Fork): 将Agent复制成多个并行分支,每个分支都继承完整的“工作区”,即之前编写的代码、文件和实验结果,所有资产完整保留。
清空(Flush): 每个分支的聊天记录被清空。它们被告知:无论之前如何思考,现在只需基于现有资料,重新思考接下来该怎么做。
分支运行一段固定时间后,比较得分,保留最好的那个分支继续运行,其余分支解散。论文中有一句话点明了关键:新分支必须从这些文件中重新推导出自己的意图,这正是它能够落入另一个盆地的原因。
Fork-and-Flush示意图。左图:分叉后各分支携带相同的工作区,以空白聊天记录重新出发,胜出分支继续向上。右图:清空后的分支有机会跳进另一个思维盆地,未跳出的分支就地解散。
研究人员在13个长周期任务上进行了测试,包括多连块拼图、车间调度、密码破译、压缩图像分类器、优化VLIW内核。单次运行时间从几小时到超过一百小时,使用的模型是GPT-5.6-terra和GPT-5.5,通过GitHub Copilot的命令行工具调用。
在相同的计算资源预算下,比较归一化平均得分:单次运行为0.47,运行四次取最佳结果为0.54,而Fork-and-Flush为0.78。换算成相对提升,比单次运行高66.0%,比四次取最佳高44.4%。在13个任务中,该方法在12个任务上取得了最高平均分。其表现也更加稳定,标准差从0.26降至0.16。
消融实验也颇具趣味:仅清空聊天记录而不分叉,提升约22%;仅分叉而不清空,也有提升;但两者结合,效果最佳。这表明“遗忘”和“多次尝试”各自发挥不同作用。
最戏剧性的一次发生在拼图任务上。当计算资源使用到71%时触发清空,胜出的那个分支在首次提交时就跨出了43个单位的距离。这意味着什么?单次运行的Agent在相同阶段,每步最多移动4.4个单位。这一跳直接落入一个全新的盆地,最终获得93.9分,而八个单次运行基线得分的中位数为84.6。另外三个未能跳出的分支,每步移动不超过1个单位,原地停留。
拼图任务上的关键一跳。左图:蓝色箭头是胜出的b3分支,从分叉点直接跳进新盆地,最终得分93.9。右图:清空后它的第一步跨出43个单位,远远超出灰色区域代表的单次运行常规步幅。
模型再强,这个问题可能依然存在
有人可能会认为,当模型变得更强时,大概就不会再陷入思维定势了。
研究团队使用Qwen3.5的4B、9B、27B三个不同规模,在MAX-3-SAT这种可以精确调节难度的题目上进行了验证。结果发现,运行结果之间的差异呈现出一条倒U型曲线:题目过于简单,每次都能解决,解法趋同;题目过于困难,每次都解决不了,失败模式也趋同;差异最大的位置,恰好位于模型能力的边缘,大约在“能解决一半”的地方。拟合出的峰值在0.497,基本就是正中间。
横轴是模型相对于参考求解器的达成度,纵轴是多次运行之间的差异。三个规模的Qwen3.5描绘出同一条倒U型曲线,峰值在达成度0.5附近。
而开放性的研究问题,按定义就位于能力边缘。因此,作者判断,随着模型继续变强,这种现象大概不会消失,只是边缘会转移到更难的问题上。 定期重置上下文这一方法,对未来的前沿模型可能依然有效。
这项研究对从事Agent产品开发的人有一个直接提醒:“上下文是资产”这个默认假设,或许值得打个问号。积累的记忆超过某个点之后,可能会反过来限制探索,早期的推理会将Agent锚定在一条不够优化的路线上。
本文来自微信公众号“大数据文摘”,36氪经授权发布。