跳到主要内容
返回时间线
arXiv来源发表:

智能体在线学习不再只向前读:每处理完一条就回头改一次反思,三个基准上稳定超过记忆与提示优化方法

导语

语言模型智能体的持续学习框架把反馈反向传回文本状态:每处理完一条实例,就用该实例的轨迹回头修订当时检索到的反思,在三个持续学习基准和三个模型骨干上稳定优于原始上下文、记忆与反思方法以及提示优化方法。

Source-provided article image: Recurrent Harness for Agentic Continual Learning
arXiv

正文

智能体在长交互流中要在线适应分布变化,框架的状态更新不再只沿前向信息流走,而是多出一条反向修订路径。 此前的智能体框架要么只靠前向信息流演化状态,要么需要额外的回放数据或验证数据来优化框架本身。 在三个持续学习基准和三个语言模型骨干上,该框架稳定优于原始上下文基线、基于记忆与反思的方法以及提示优化方法。

做法是让每条实例处理完后留下的轨迹充当反馈,用来修订这条实例当初检索到的反思,反馈由此沿文本状态反向传播。 它把反思当作可被后续证据改写的文本状态,而不是一次写入就固定的经验。 分析显示修订有来源依据且有意义,能纠正分布变化下过度泛化或过时的经验,并同时改善持续学习中的稳定性与可塑性。

接下来

下一步可在自己的流式任务上检验这条反向修订路径:把每条实例的轨迹留作反馈,看它能否改写该实例检索到的反思。适合处理分布随时间漂移、又不允许回放或额外验证数据的在线智能体场景。

摘要未给出各基准的具体指标、骨干规模与消融结果,因此修订带来的增益幅度尚不清楚。修订在更长流或更强分布漂移下是否仍保持稳定与可塑性的平衡,也值得继续观察。

来源