相似技能不再靠描述打分:能力图按最弱证据判定,ALFWorld成功率从22%升到29%
核心概要
智能体技能库变大后,语义相近的技能仅凭描述难以区分。SKALOS把每个技能拆成能力、方法、产物与约束节点构成的多层级能力图,用Max–Min见证学习要求同一实现联合覆盖查询的全部需求,并以排序反馈校准抽取错误。在SkillRet上,它的NDCG@10比匹配的纯文本重排器高2.68个百分点;在受控ALFWorld任务上,见证引导的技能选择把成功率从22%提高到29%。
深度剖析
技能重排不再只比较描述与查询的语义相关度,而是比较候选技能内部的能力证据能否支撑同一套实现。 此前的技能检索与重排把技能描述编码或改写后按相关度排序,描述措辞不同会让等价能力得到不同表示,相关度也无法说明各项需求是否由同一实现共同满足。 在SkillRet的同一候选池上,SKALOS的NDCG@10为86.76,匹配的纯文本成对重排器为84.07,相差2.68个百分点,配对自助法95%置信区间为[2.263, 3.103]。
每个技能被表示成一张带类型关系的图,查询需求在图上的覆盖情况直接进入打分。 做法是先做能力规范化:把技能按嵌入聚类,再在每个簇内按节点类型合并语义等价的能力、方法、产物和约束表达,被多个技能共用的节点放进共享层,只属于单个技能的节点留在局部层。 见证学习把每条支撑分支按其最弱节点或关系计分,要求同一实现覆盖全部需求,再在多个实现中取最强的一个;在93个来源不重叠技能构成的四候选受控测试中,见证把NDCG@4从94.97提高到97.27。
抽取出的图可能含错误映射或错误关系,排序反馈被用来压低不可靠证据的权重。 此前的图方法主要组织技能之间的依赖与调用关系,抽取结构本身并不解决等价证据如何比较、抽取错误如何处理。 逐个屏蔽图元素、观察正负候选排序间隔的变化,可得到该元素对区分的贡献;在20%预算的人检错误注入下,完整校准恢复33.58%的排序间隔偏差和32.45%的分数偏差,去掉归因损失后分别降到29.60%和29.33%。
启示与展望
演示范围是SkillRet技能检索基准与受控ALFWorld任务:每个任务配一个有效技能和三个文本相近、各破坏一项关键需求的负例,由同一个Qwen2.5-7B控制器执行。见证定义把查询需求当作必须同时满足的合取,可选、析取和偏好型请求不在其内。
见证只处理合取式需求,可选与析取需求的扩展被列为后续工作。在75%损坏率下错误检测变弱但仍高于随机;校准在20%预算下只恢复约三分之一的排序间隔与分数偏差。ALFWorld结果来自受控负例,检验的是见证机制而非无约束部署。
