跳到主要内容
返回时间线
arXiv来源发表:

提示词优化让引用质量涨了0.079:近半获胜提示词是背下来的答案,却一分奖励也没换来

核心概要

反思式提示词进化被用来改写多智能体深度研究智能体的两个系统提示词,在训练、验证、测试主题完全不重叠的划分下,500个留出任务上的引用奖励从0.702升到0.781,提升0.079,三个随机种子均复现。获胜提示词按词数近一半是抄进提示词的训练答案,但对照实验显示这些内容即使在那24道原题上也拿不到奖励,验证集与留出集之间的差距更符合小样本选择加噪声评判,而不是记忆。逐维度分解的文本反馈是增益能迁移的关键,把奖励压成单一标量后留出迁移转为负值。

Source-provided article image: Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting
Figure 1 · arXiv

深度剖析

深度研究智能体的引用质量可以只靠改写提示词提升,不需要更新模型权重。留出测试集上的引用奖励从0.702升到0.781,提升0.079,自助法95%置信区间为[0.051, 0.107]。 此前这类提示词优化研究通常只报告同分布增益,而优化器读过训练样例后可以把答案抄进提示词,使增益无法区分可迁移的行为改变与记忆。 测试集包含500个任务、254个主题,与训练和验证集零主题重叠;三个独立随机种子的留出增益均为正且置信区间不含零,均值0.107,范围0.079到0.130。

增益来自可迁移的引用纪律规则,而不是搜索机制本身。优化器把答案移到报告开头、拆开多论断句子使一条论断对应一条引用、要求核实被引页面正文支持具体论断、并把引用限制在语料库内URL。 这些规则各自对应分解奖励暴露出的一个具体诊断:链接未解析、被引页面跑题、页面不支持论断;把奖励压成单一标量后,反射器失去这条诊断通道,留出迁移转为负值。 验证器消融固定数据、策略、反射器和预算,只改奖励信号,4种配置各跑2个种子共8次优化,再用同一个规范验证器在120个主题不重叠任务上重新打分;细粒度、单次、逐维度分解的参考配置迁移为正,标量配置为负。

获胜提示词里近一半内容是抄下来的训练答案,但它没有换来奖励。按词数计,记忆答案键占编排器提示词的52%、研究员提示词的39%。 如果记忆驱动了验证集增益,那么在这24道原题上,最佳提示词相对种子提示词的提升应接近0.202的验证增益。 在24道原训练题上,最佳提示词只比种子高0.090,与0.079的留出增益在统计上无法区分;在96道同主题新题上,被记忆的12个主题家族增益0.071,低于未被记忆家族的0.154。

手写版本能复现大部分增益,说明提升主要是一套可描述的规则集,而不是搜索本身的属性。去掉全部记忆答案内容后,手写配方在100个留出任务上恢复了0.083总增益中的0.047,约57%。 完整优化提示词在此之上再增加0.036,但在100个任务上这一增量单独并不显著,与记忆答案键不起作用的结论一致。 配方、种子、最佳提示词三者在相同策略、奖励和语料下对比;种子到最佳的总增益0.083显著,与500任务集上的0.079一致。

启示与展望

这套协议在单个多智能体深度研究智能体、单个引用质量任务和单一新闻语料上得到验证,奖励由语言模型评判器打分。留出增益0.079、均值0.107、手写配方恢复约57%这些数字都限定在这一设置内。评判器与人工的一致性检查只覆盖48对标注、单一标注者,作者提出更大规模的多标注者研究以及用更多种子和跨家族验证器确认机制,是自然的后续方向。

验证集与留出集之间的差距在三个种子间从0.034波动到0.160,约五倍,因此它被当作提示过拟合的诊断信号,而不是校准过的记忆量测量。验证器消融每种配置只有2个种子,作者按方向性而非精确估计来解读。策略、反射器和引用评判器来自同一提供方家族,存在自我偏好风险,跨家族评判器的抽查样本较小。记忆压力在实体反复出现的狭窄领域预计更大,但尚未在其他任务和领域验证。