网页搜索智能体评测不再只看答案：保留真实轨迹，把错误节点连回答错的答案组
核心概要
长程网页搜索智能体的评测此前多依赖模拟轨迹，或从最终答案反推轨迹，难以检查搜索过程本身。LongSearchEval 让 16 个模型在统一的智能体控制器和五个受限网页工具下真实执行 100 个任务，保留 1600 条轨迹，先用智能体自己引用的网页核验答案组，再把被标记的失败节点连回判错的答案组。人工复核中，946 个答案组的自动判定与人工一致率为 94.50%，抽样的 317 条轮次—答案组链接有 311 条通过特征对应核查。
深度剖析
网页搜索智能体的评测对象从最终答案扩展到答案加真实交互轨迹。每个被评模型都在同一个智能体控制器、同一套提示和五个网页工具下执行任务，搜索、打开、阅读、页内查找和链接提取的每一步都按原始顺序留存。 此前的评测主要依赖模拟轨迹，或从最终答案事后重建轨迹，而不是保留真实的交互记录，这限制了行为评估的保真度，也削弱了对细粒度错误定位的支撑。 16 个模型、8 个模型家族在 100 个长程网页搜索任务上各保留一次运行，共 1600 条轨迹；轨迹采集与评测分别累计耗时 1037 小时和 318 小时。
评测分两步：先只依据智能体自己引用的网页判断每个答案组是否满足任务约束，再把判错的答案组回溯到轨迹中相关的轮次。 第一步不需要人工撰写的标准答案，只抓取答案中给出的 URL；缺失引用、无支撑主张、错误归属和违反约束都判为错误，仅因超时、网络失败或反爬拦截而无法核验的组单独记为不可核验。 两名评审模型逐轮独立判断，分歧交给仲裁者；在 42658 个归一化轮次中保留 14734 条可评估记录，其中 6545 条为自动标记的候选失败节点。
被标记的失败节点可以连回具体答错的答案组，形成可回看的证据位置。 6545 个候选节点中有 3664 个保留了指向第一步判错答案组的链接，覆盖 3374 个错误答案组中的 2229 个；这些位置表示相关内容的出现处，而不是智能体第一次做出错误判断的时刻。 在 850 条至少含一个链接的运行中，最早关联出现在第 5 轮之前的占 46.5%，第 20 轮之前的占 88.7%，中位数为第 6 轮；对 317 条保留链接的人工核查确认 311 条存在可定位的特征对应，精确率为 98.11%。
启示与展望
评测覆盖 100 个公开网页任务，要求多来源检索与约束满足，并在共享的弱工具接口下每个模型—任务单元保留一次运行；报告的区间刻画任务层面的不确定性，而非重复执行智能体的波动。视觉交互、需登录的工作流、私有上下文和交易类操作属于另一类设置。
定位结果是条件于最终答案和第一步判定的事后关联，不标识智能体第一次做出错误承诺的时刻；最早关联只表示返回的相关内容最早出现在哪一轮。第一步的判定错误会影响保留下来的关联，且 3374 个错误答案组中仍有 1145 个没有保留的内容关联。