Prompt2Skill 仅凭一句自然语言任务描述自动构建技能,在四个基准与五个模型上平均相对提升 36.1%
核心概要
Prompt2Skill 提出一个多智能体框架,仅从自然语言任务描述出发,由 Data Agent 推导任务规范并通过检索、改写与合成构建代理数据池,再由 Skill Agent 用执行反馈、反思式编辑和配对统计筛选迭代优化技能,在问答、阅读理解、表格操作与数学推理四个基准、五个开源与商用目标模型上平均相对优于直接提示 36.1%、优于现成技能 83.0%,且未出现显著退化。
深度剖析
该工作把技能构建从“需要人工标注的同分布训练集”推进到“只有一句任务描述”的设定:系统接收任务描述与可选少量示例,从不观测目标分布与评测指标,最终导出一个 SKILL.md 供冻结模型在推理时使用,无需更新权重。 此前 Trace2Skill 依赖执行轨迹归纳、SkillOpt 依赖带可靠标签的验证集做文本空间编辑,而论文指出把训练集缩到单个样例时收益会退化到“数据盲草稿”的水平;Prompt2Skill 去掉了这一前提。 论文以形式化方式定义了 prompt-to-skill 问题(目标分布与指标均不可观测),并给出完整的两智能体流程与算法描述。
Data Agent 通过检索、适配与合成构造任务匹配的代理数据:从 Hugging Face 数据集目录与 Wikipedia 检索候选源,用列选择与确定性行映射把记录转成输入—参考对,必要时基于检索材料生成新题,并以结构检查、任务兼容性比对、种子技能可答性筛选和合成项一致性检查过滤。 相较只做提示词搜索的 APE、ProTeGi、GEPA,以及只做技能文档编辑的 SkillOpt,这里把数据获取与技能优化串成端到端流程。 论文给出检索、适配、生成、验证各步的公式化描述,并说明验证只提供可用性的实践证据,求解器一致并不等于参考正确。
Skill Agent 用反思式编辑与配对统计接受准则迭代技能:每轮在同一批新采样的验收项上比较候选与现任技能,仅当胜出方向为正且统计量超过阈值时接受,最后在冻结的选择集上一次性选出导出技能。 论文附录给出代理分布与评测器失配下的选择误差界,说明保留初始技能与历史被接受技能、在独立选择样本上比较,可以把最终选择与保留轨迹中的最优技能之间的差距控制在给定误差范围内。 接受规则为逐候选筛选阈值而非传统显著性检验,且未对跨候选、跨轮次比较做多重校正;论文明确说明这一点,并依赖独立冻结选择集作为共同比较基准。
在 SearchQA、SQuAD、AIME、SpreadsheetBench 四个基准与 Qwen3-8B、Qwen3-32B、Llama-3.2-1B-Instruct、Claude Haiku 4.5、GPT-5.5 五个目标模型上,Prompt2Skill 在每个目标模型上都取得最高平均相对提升,Qwen 与商用模型为 22.0%–29.1%,Llama-3.2-1B 在其三个报告基准上为 93.5%;在 10 组对比中取得最高均值,包括全部五个求解器的 SQuAD 与 Qwen3-32B 的全部四个基准。 固定技能可能带来大幅退化,例如现成技能把 Llama-3.2-1B 的 SQuAD 从 0.207 降到 0.048,而 Prompt2Skill 把它提升到 0.492,说明技能有效性依赖目标模型与任务。 主表报告了各方法在四个基准上的均值与标准差;论文同时说明这些是相对变化的平均,而非百分点准确率增益,且小基线对可贡献较大相对变化。
启示与展望
该结果面向只有任务描述、没有同分布标注数据的部署者:技能以文本工件形式在推理时注入冻结模型,无需更新权重,适用于问答、阅读理解、表格操作与数学推理这类可用可执行代理指标衡量的任务。论文还探索了 NLP AutoML 场景,在日语到 Python 代码生成与时间表达式规范化上,与生成至多 1000 条训练样例并微调固定 Qwen-32B 的 Prompt2Model 变体取得可比分数,提示技能式任务适配可作为微调的替代路径。审计方面,论文对检索来源做了文本与工作簿哈希检查,报告未发现被审计输入被标记。
论文明确说明代理指标只是系统对请求的解释,与目标任务的真实指标不同,数据获取与评测器失配是独立于选择误差的另一类误差来源;接受阈值是逐候选筛选而非显著性检验,也未对跨候选与跨轮次比较做多重校正。数据审计方面,论文指出表中所列是配置或发现的来源库而非逐条归属验证,来源游标只表示尝试抓取,不表示保留了多少条目;SQuAD 的 HotpotQA 在多数运行中没有批量抓取进展;三个清单项没有声明工作簿文件,只做了文本检查。此外,结论中的 36.1% 与 83.0% 是 19 个模型—基准对上相对变化的等权平均,不是百分点准确率增益,小基线对可贡献较大相对变化。本次读取为全文,但表格与附录中的部分数值以文本形式呈现,若需精确复现仍应核对原始表格与附录。
