跳到主要内容
返回时间线
researchsquare.com来源发表:

录下的界面操作变成智能体工具:同一业务族三个实例上核心点33/33,原始代码只有8、8、18

核心概要

把真实图形界面操作录下来、参数化成固定工作流,再交给智能体执行,可能比让智能体直接写代码覆盖更多业务要求。在一个SaaS业务族的三个完整任务实例上,这套冻结工作流拿到33/33本地核心点,原始代码分别为8、8、18;两个预先固定的新实例上智能体分别用6次和5次模型调用完成,原始代码用了121次和70次。所有尝试的整任务判定仍为失败,附带状态是否保全未知。

Source-provided article image: Goal Completion and State Preservation: Case Studies of GUI-Derived Agent Tools
researchsquare.com

深度剖析

一套从真实图形界面操作录制、参数化后冻结的工作流,在跨Twenty CRM、BigCapital和Pretix三个应用的完整业务请求上,比让智能体直接写代码覆盖更多检查点。 原始代码智能体在同一批任务上只拿到8/33、8/33和18/33本地核心点,附加检查为0/20、0/20和6/20。 冻结工作流在三个实例上均为33/33核心点和16/20附加检查;按原始评测器口径排序相同,为30/33对11/33、11/33和21/33。

工作流把一次业务目标展开成固定的原生调用序列,智能体只负责填写目标参数。 录制阶段保留77个操作的请求方法、路由模板、载荷结构和响应中提取标识符的路径,新业务名称、金额和日期变成目标参数。 执行智能体把自然语言请求映射到两里程碑目标,通过受保护接口提交参数,由宏按固定目录顺序展开;评测用只读SQL在终端容器上读取18项核心检查折算的33个加权点和20项附加检查。

两个预先固定的新参数实例复现了同一业务族内的覆盖优势,且模型决策次数明显更少。 DEV009和DEV010在DEV008之后固定、每个槽位只跑一次,工作流实现保持不变。 两个新工具智能体分别用6次和5次调用正常结束,消耗106,848和73,180个执行token;配对的原始代码在DEV009达到科学token上限、在第121次模型响应后停止,在DEV010用70次调用正常结束。

启示与展望

结论覆盖一个SaaS业务族的三个完整任务实例和两个Magento基础任务,使用一个请求的执行模型与推理设置。DEV008属于开发阶段比较,DEV009和DEV010为预先固定、每臂执行一次。Magento部分只在其声明的状态边界和原生探针内成立,图像渲染、客户组1的实时交易和任意并发不在其中。

原始代码与工具之间,工作流知识、操作实现和执行限制同时改变,比较识别的是它们的合并效果。静态与受保护模式在同时评测处打平,Magento的学习谓词与共享校验重叠,原始仓库对负价格的响应未被独立确认。SaaS的附带状态保全未测量,描述传播实验测的是条件性机制而非前瞻性错误率。实际界面尝试以中断和非法动作结束,限制了与正常完成执行的比较。