决策模型把单步成本砍掉七成,任务却未必更快完成:五个智能体、4500次执行给出的分界
核心概要
把智能体的动作选择换成Jev这类快速决策模型后,单步决策成本降了66.1%到78.4%、耗时降了73.9%到81.5%,但在ALFWorld上任务成功率基本持平、在两个移动端智能体上明显下滑,说明省下的钱不一定变成交付出去的成功任务。
深度剖析
把智能体的动作选择交给一个专门做快速结构化判断的模型,单步决策会便宜很多、也快很多。 此前的做法是让同一个大模型既负责推理又负责选动作,每一步都要付出完整推理的成本和延迟。 在五个智能体家族、两个基准、共4500次任务执行上,Jev把平均单步决策成本降低66.1%到78.4%、决策耗时降低73.9%到81.5%,决策时间从4.13到8.13秒降到1.04到1.75秒。
单步省下的资源并不会自动变成任务层面的效率,因为工作流里还有别的开销在吃这笔钱。 任务级收益比单步收益小得多,而且随工作流不同而不同。 ALFWorld上ReAct和Reflexion的任务成本分别降50.9%和32.6%,AndroidWorld上T3A、AutoDroid、FastAgent分别降17.1%、68.8%、43.0%;FastAgent的任务耗时反而上升0.7%,因为它的辅助调用和非模型执行时间变长。
任务能不能做成,决定了这笔节省最后值不值。 每次尝试的花费下降,并不等于每个成功结果的花费也下降。 在两边都成功的配对任务上,ALFWorld仍保留64.8%到66.2%的成本优势和59.2%到60.8%的时间优势;但按全部尝试摊到每个成功结果上,T3A的成本反而从68.70升到73.97 mUSD,FastAgent的每个成功耗时从239.4秒升到377.8秒。
失败往往不是选错一步就结束,而是错误没有被纠正、或者被过早宣布完成。 此前的评估只看最终成功率,没有把执行轨迹里的恢复和终止行为单独标出来。 在持续失败的57次Jev执行中,40次出现恢复失败、29次出现无效搜索,而对应的57次基线执行只有3次和2次;Reflexion-J首轮成功383/402高于基线的376/402,但首轮失败后只恢复11/19,基线恢复25/26,最终成功率因此更低。
启示与展望
这项研究覆盖五个智能体家族,场景是ALFWorld的家庭任务和AndroidWorld的移动应用操作,两者都用文本观测和有界动作接口。每个配置在同一批固定任务上跑三次,用同一个种子,比较的是各家族内部基线与Jev变体的差异。ALFWorld还设了一个共享候选接口的LLM-Choice对照,用来把候选接口的影响和决策模型的影响分开。适合关心智能体工作流成本与可靠性的读者,尤其是正在考虑把快速决策模型放进工具选择或流程路由的人。
作者说明,结论限于所评估的这几套集成,候选构造、辅助生成和反馈机制共同影响表现,不能把每个差异都归给Jev。延迟和成本依赖所评估的模型版本、服务条件和实验价格,托管推理本身带来波动,未来的模型更新或价格变化可能改变这些权衡。三次重复刻画的是固定任务实例上的执行波动,不覆盖新采样的环境或任务分布。成本是既定记账规则下的估计,重试调整和推算用量在适用处引入测量不确定性。
