评测不再只报失败：GEPA把失败案例写进提示词，Qwen3-32b测试集准确率提高10%
核心概要
Eval Protocol 把 GEPA 提示词优化接入已有的评测接口，让同一套数据集、指标和任务约束既衡量智能体表现，也自动改写系统提示词。在 Text2SQL 案例中，Qwen3-32b 不改动模型权重，测试集准确率提高10%，验证集准确率提高超过5%，提示词搜索约用45分钟；同一评测随后还可作为 RFT 的目标。
深度剖析
评测套件不再只报告智能体在哪里失败，还能把失败信号转成可执行的提示词修改，并直接回填到智能体中。 此前拿到失败案例后，只能靠人工增删指令和示例、反复重跑评测，观察指标上下波动。 在 Text2SQL 案例中，未经优化的系统提示词在8次尝试里没有一次生成正确的 SQL 查询，使用优化后的提示词后，8次里有3次正确。
优化器读取评测中通过和失败的样本，自动提出结构化的提示词编辑，只保留能稳定抬高指标的改动，最后输出一份可对比、可检查的系统提示词。 这一过程由 GEPA 承担，它通过 DSPy 完成提示词改写与候选评估，在代码里只需在已定义评测测试的基础上调用。 提示词优化在 DeepSeek V3 上运行，使用同一模型、同一任务和同一套评测定义，提示词搜索约耗时45分钟，未改动模型权重。
同一套评测在提示词优化之后还能继续用作强化微调的目标，把提示词阶段挤出的收益接到训练阶段。 通常提示词工程收益趋平后，需要换更大的模型、微调或运行 RLHF 才能继续提升。 在 Qwen3-32b 上以优化后的系统提示词运行4个 epoch 的 RFT，报告绝对分数提升约20%。
启示与展望
已展示的范围是一个 Text2SQL 智能体案例：合成 OpenFlights 风格数据库、243 条自然语言问题，按结果集比对判定通过与否，并划分验证集与测试集。
报告中的提升来自单一 Text2SQL 案例和特定模型设置，提示词搜索约45分钟、RFT 训练4个 epoch，这些条件限定了结果的适用范围。