搜索系统运行正常却答非所问：WISE把质量问题追到排序与召回环节
核心概要
工业搜索的检索、排序流水线可以按时返回结果，却仍可能给出不满足用户意图的页面，而现有监控只看延迟、可用性和报错。WISE把这类结果质量问题拆成两步：先只用用户可见的多模态证据判断页面是否有问题，再调取内部流水线证据，把已确认的问题归因到供给、召回、相关性打分、排序或重排。在1.2万条真实搜索案例构成的WISE-Bench上，Qwen3.5-35B-A3B经轨迹监督微调与AHPO优化后，端到端完全匹配从35.25%升到75.20%。
深度剖析
搜索质量诊断从“判断结果好不好”推进到“指出问题出在流水线哪一环”，WISE把用户可见的体验证据与系统内部的候选供给、召回路径、模型分数和分阶段排序位置放在同一次诊断里。 此前的搜索评测基准主要衡量用户可见的结果质量，缺少内部流水线证据与归因标注；已有的根因分析工作则针对延迟、报错这类运行故障，而不是算法输出的质量。 WISE-Bench由快手主搜索场景在7月1日至10日随机采样的1.2万条真实案例构成，每条案例包含查询、请求时间、场景、展示的前10条结果、多模态体验证据、流水线轨迹和专家诊断标注，并划分为8000条训练、2000条验证和2000条测试。
诊断智能体先发现页面上的体验问题，再为已确认的问题追查内部原因，两个阶段使用的证据被刻意隔开。 问题发现阶段只允许使用查询与展示内容，包括文本、语音识别、光学字符识别、画面、发布时间和作者来源；内部流水线证据要等问题确认之后才进入归因阶段。 执行框架按角色控制每个智能体可见的上下文与工具权限，问题发现、归因和报告生成由不同角色承担，输出以结构化记录在节点间传递，并经过字段与证据引用的校验。
训练数据来自对教师模型执行轨迹的最小修补，而不是重新生成整条轨迹或只改最终答案。 专家标注只给出诊断结论，不含智能体执行所需的中间决策与工具调用轨迹，直接拿原始轨迹做监督微调会把错误决策一并学进去。 ReTrace保留最早可修补决策之前的全部决策、工具调用与观测，只修补其后受影响的决策，并要求修补后的最终诊断与专家标注一致、每一步决策都有当时可得的证据支撑；与完整重生成相比，案例归因完全匹配同为57.87%，教师生成词元从32.0k降到20.4k。
失败被定位到最早一个有证据支撑的错误决策后，系统判断该改执行框架还是改模型策略，再分别施加更新。 诊断失败可能源于模型在证据充分时判断错误，也可能源于执行框架没有提供所需证据、动作或状态表达能力，两类失败需要不同的优化面。 在200条人工裁决的开发集失败实例上，直接路由的准确率为58.9%、宏F1为43.6%，加入失败分析器后升到69.2%和60.0%，完整的AHPO路由达到84.2%和84.1%；在Qwen3.5-35B-A3B上，监督微调把端到端完全匹配从35.25%提到69.80%，AHPO进一步提到75.20%。
启示与展望
演示范围是快手大规模短视频平台主搜索场景的整页多模态搜索诊断，基准案例取自7月1日至10日的随机采样请求，评测集中在案例级问题检测、条目级定位和流水线归因；由于采样流量中独立的页面级多样性问题很少，评测未以其为重点。
失败定位被明确描述为基于执行轨迹的错误传播描述，而非反事实因果结论；开发集上的中间收益并不总能转化为测试集提升；条目准确率在Qwen3.5-4B上从83.91%略降到83.48%；证据不足以区分主要组件时，归因被标为未解决而保留已确认的体验问题。