ServiceNow CoreAI 的 AutoSynthData 用失败诊断生成企业智能体训练任务,在 EnterpriseOps Gym 上把 Gemma 的 Pass@1 提升 7.2 个百分点
ServiceNow CoreAI 提出 AutoSynthData,用目标模型的失败与更强教师的成功来定位能力缺口,据此生成并校验新的可执行任务(系统规范、用户提示、验证器三件套),在 EnterpriseOps Gym 的 Hybrid 域用 Gemma-4-26B-A4B-it 与教师 Qwen3.8-27B 生成 2000 条样本(约 18 小时),微调后最佳检查点(第 5 轮)使平均 Pass@1 提升 7.2 个百分点(相对提升 35%)、验证器成功率从 63.01% 升至 68.55%,并弥合 Gemma 与参考模型之间 59% 的 Pass@1 差距;在 ITSM 域用教师 DeepSeek-V4.1-Flash 生成 1994 条样本(66 小时),平