专家轨迹不再塞进提示词:拟合一个概念向量,三个文本任务平均分随模型变大一路升到75.9
核心概要
CB-Agent把专家轨迹里的环境动作决策抽出来,拟合一个可复用的概念向量来给候选动作打分,在TextWorld、ALFWorld、ScienceWorld上三个Qwen3规模都拿到所评方法里最高的跨基准平均分。
深度剖析
智能体做序列动作选择时,不必把完整专家轨迹放进提示词,也不必先把经验写成自然语言规则,而是用专家在每一步实际选的动作去拟合一条可复用的打分规则。 此前的做法要么把完整轨迹直接塞进提示词,与交互历史争抢有限的上下文空间,要么用自然语言总结经验,再由智能体把笼统建议翻译成具体动作。 在TextWorld、ALFWorld、ScienceWorld三个基准和Qwen3-4B、8B、14B三个规模上,CB-Agent的跨基准平均分分别为66.6、72.5、75.9,均为所评方法中最高,并在TextWorld和ScienceWorld的每个规模上排第一。
做法是把专家轨迹转成一条条决策样本,用冻结语言模型的特征给候选动作打分,概念向量只调整语言模型先验,不改动语言模型本身。 概念向量按正则化最大似然拟合,只优化这一个向量,候选特征和先验权重在拟合前算好并保持固定。 在ALFWorld上把概念项置零的对照中,保留概念使成功率在4B、8B、14B上分别提高10.4、6.0、14.9个百分点,说明增益来自学到的概念而非仅长度校正后的语言模型先验。
概念在任务执行期间保持固定,但动作概率随上下文和候选集合变化,因此同一套打分规则可以复用到同一任务类型的多个测试任务。 ReAct提示仍保留演示来引导推理和思考或行动的路由,动作打分器则只用当前任务和交互历史,不含专家演示。 在ALFWorld的两轮设置中,CB-Agent与Reflexion组合后成功率在4B、8B、14B上分别再提高4.5、7.5、5.2个百分点,概念不因测试反馈重新拟合。
启示与展望
这套方法面向文本交互环境中的序列动作选择,在TextWorld、ALFWorld、ScienceWorld三个基准和Qwen3-4B、8B、14B三个规模上评估,演示按任务类型固定,每个骨干网络为每个任务类型拟合一个概念并在该类型的测试任务间复用。固定动作空间的任务由环境提供候选动作,开放动作空间的任务由模型采样生成有限候选集合。适合关注语言智能体经验复用与动作打分的读者。后续方向是考察候选覆盖情况以及向未见任务类型的迁移。
概念拟合目标的理论分析针对特征与先验权重固定的情形,端到端任务表现由实验评估。开放动作空间下的动作选择取决于生成候选的覆盖与质量,候选生成、打分和概念估计都带来额外计算,比较的是任务表现而非同等计算预算下的效率。演示虽不进入动作打分上下文,但仍留在ReAct推理与路由中,完整智能体仍受上下文窗口限制。ALFWorld上CB-Agent并未领先,作者提出一种可能是单步动作选择变好仍可能留下导致任务无法完成的错误。
