数据库终态检查变成训练奖励：Qwen3.8-27B经50步GRPO，20次全对任务从38个升到107个
核心概要
智能体常声称任务完成，数据库里却留下错误记录。ThinkingBox 把对数据库终态的确定性检查当作奖励，在基准之外的任务上训练 Qwen3.8-27B：50 步 GRPO 后，平均成功率从 51.70% 升到 60.78%，20 次尝试全部通过的任务从 38 个增至 107 个，而至少通过一次的任务从 453 个降到 446 个。训练池按基础策略的相对难度离线筛选，基准 507 个任务未参与训练。
深度剖析
智能体的训练奖励改为直接读取任务结束时数据库的真实状态，而不是看它调用了哪些工具或说了什么。 此前的评分方式关注智能体是否声称完成，可能出现九次看似合理的工具调用却写错一行数据库记录的情况。 在 ThinkingBox-Bench 的 507 个任务上，每个任务启动真实后端并运行可执行检查，判定依据是需要正确的后端记录。
训练池只保留基础模型有时能解出的任务，因为全对或全错的回合组在 GRPO 中不产生优势信号。 GRPO 对一组八次 rollout 做组内中心化，全失败或全成功时奖励向量没有对比，任务无法提供学习信号。 每个候选任务先用基础策略探测若干次，以 Jeffreys 后验 Beta(k+½, n−k+½) 估计成功概率，按 0.08、0.40、0.60、0.90 四个边界分桶，最终 Qwen3.8-27B 的训练池为 187 个任务。
训练后的检查点在从未训练过的基准上，重复成功率上升，覆盖面略有下降。 基础 Qwen3.8-27B 的 pass@1 为 51.70%，20 次全对为 38 个任务，至少一次通过为 453 个任务。 50 步 GRPO 后，pass@1 为 60.78%，20 次全对为 107 个任务，至少一次通过为 446 个任务；五个领域的 pass@1 与 20/20 均上升，pass@20 在 neobank 与 consulting 上升、在 retail、travel、auto insurance 下降。
启示与展望
已展示的范围是 Qwen3.8-27B 在 187 个 ThinkingBox 格式训练任务上做 50 步全参数 GRPO，并在未参与训练的 507 个 ThinkingBox-Bench 任务上各评估 20 次；训练池与基准共享 ThinkingBox 框架、模拟用户机制、可执行终态评分和少数通用工具。
训练池与基准共享框架、模拟用户机制、可执行终态评分和少数通用工具，这限制了迁移结论的范围；训练中未采用在训练过程中重新探测难度的路径；成本数字是比较用的服务指数，不含训练与策略探测开销。