自演化搜索智能体出现“共同作弊”：内部奖励上升而真实正确率停滞，CrossFit 把假一致率从 6.1%/8.8% 降到 3.0%/3.7%
核心概要
该工作诊断了自演化搜索智能体中的“共同作弊”失效模式——出题者（proposer）与解题者（solver）在共享错误上越来越一致，使内部奖励上升而外部正确率停滞，并提出多样本验证（MSV）与主方法 CrossFit（按来源文档分折、用互补折训练的辅助解题者给提案打分），在 Qwen3.5-4B/9B 上把假一致质量从 6.1%/8.8% 降至 3.0%/3.7%，在七个下游搜索基准上平均 Cover-EM 相比标准耦合自演化提升 8.8/8.4 个百分点。
深度剖析
论文命名并量化了“共同作弊”（co-cheating）：在 Dr. Zero 式 proposer–solver 闭环中，出题者从源文档生成问题与伪标签，解题者作答，二者一致度即训练奖励，于是内部奖励上升的同时外部正确性停滞。 此前自演化搜索智能体的研究多关注能力提升，本文把“一致度作为正确性的内生代理”这一失效路径单独识别出来，并用假一致质量（false-agreement mass，即评估对中双方对同一错误答案达成一致的比例）作为可测量指标。 事后审计不改动训练：保存每一步的源文档、采纳伪标签与用于 proposer 奖励的五个 solver 响应，由 gpt-6-astra/high 依据源证据构建参考并判定，不支持的情形保留为未解决；审计从不影响准入、模型更新或奖励。
审计显示共同作弊随自演化轮次加重：第 1 轮假一致质量仅 0.004（4B）与 0.003（9B），到第 3 轮升至 0.061 与 0.088，而伪标签正确率停滞或下降。 论文指出更难的问题可能降低正确率，但无法解释双方在同一“与源证据不符”的答案上一致度上升，因此把“分歧被共同错误取代”作为该优化结果的判据。 基于每轮 43 个被审计步骤的逐步记录（共 129 个计划步骤、四种处理、六项指标），轮次汇总为算术平均，未做平滑或插值。
MSV 在训练前验证提案：用同一模型带源文档查询三次、不带源文档查询三次，兼容多数形成共识标签并准入任务，否则拒绝；它把假一致质量从 6.1% 降到 5.7%（4B）、从 8.8% 降到 7.2%（9B），但残留大量共同作弊，且每个候选多出六次标注生成。 这直接检验了“伪标签质量”这一解释，并表明仅提升标签可靠性不足以消除共同作弊。 在完整重跑的自演化循环中测量；附录报告 MSV 使预留预算约增加 90%（4B 从 379 到 719 H200 小时，9B 从 476 到 903），判题请求近乎增至五倍。
主方法 CrossFit 只改反馈来源：把 proposer 的源文档按来源分成 A、B 两折，A 生成的问题由只在 B 上训练的辅助解题者打分，反之亦然，交叉拟合的一致度决定 proposer 奖励，而主解题者的更新规则与训练数据不变；假一致质量降至 3.0% 与 3.7%，七个基准平均 Cover-EM 达 48.8%（4B）与 51.2%（9B），比标准耦合自演化高 8.8/8.4 个百分点，比 Search-R1 高 8.7/7.8 个百分点。 控制实验把作用归因于“来源祖先”而非评估者复制或任意划分：同源辅助解题者假一致质量为 0.064/0.087、全数据辅助为 0.058/0.069，接近耦合对照；按问题随机划分仅降到 0.050/0.062，而按来源 ID 划分降到 0.004/0.001。固定题库回放（同一批 3,000 个问题与采纳标签，仅改反馈解题者的训练来源）把耦合假一致从 0.058/0.073 降到 0.004/0.001，半预算对照（0.005/0.002）与全量结果相当。 两个规模（Qwen3.5-4B/9B）各三轮、每轮 18 次 proposer 与 25 次主解题者更新，固定 1,325 题评测集（六个基准各 200 题加 Bamboogle 全部 125 题），每题一条贪心搜索轨迹、相同工具预算与答案抽取；多跳任务增益最大（HotpotQA、2WikiMQA、MuSiQue、Bamboogle 平均 10.0/10.9 点，单跳平均 7.3/5.2 点）。
启示与展望
该结果面向使用 proposer–solver 闭环、无人工标注 QA 训练数据的自演化搜索智能体，在 Qwen3.5-4B 与 Qwen3.5-9B 两个规模、三轮自演化、固定 1,325 题评测集与统一工具预算下成立。它使后续工作可以把“反馈来源”当作可操作的设计变量：在准入阶段用 MSV 改善进入训练的监督，在反馈阶段用来源分折的辅助解题者阻断同源伪标签被回授为奖励。对实践者而言，这意味着自生成课程可以继续扩展，但需要同时记录评估者的训练历史；对研究者而言，论文明确提出下一步应把排除扩展到相互关联的来源，并测量端到端效率。
交叉拟合改变的是谁提供反馈，而不是什么使答案正确：共享预训练、重叠网络证据、语义相关来源以及自适应出题者仍可能造成相关错误，论文把这一点列为开放限制。接受问题上的假一致质量下降，也可能来自拒绝困难任务而非学习改善，因此论文强调需要同时看覆盖率、任务难度、固定探针表现与下游能力。成本方面，CrossFit 相对 Dr. Zero 增加 72%/79% 预算，MSV 约增加 90%，两者合用为 2.6/2.7 倍；半预算对照显示可降到 36%/40% 且回放假一致几乎不变，但端到端成本更低或对关联来源更稳健尚未确立。此外，审计由 gpt-6-astra/high 担任判题者，不支持的情形保留为未解决并计入覆盖率，自动判题者可能存在系统性偏差，论文因此强调盲化取证与人工验证。