跳到主要内容
检索

# SkillsBench

3 篇关联报道

订阅更新
  1. arXiv

    APEX 用跨技能链传递伪造的用户批准记录,在 SkillsBench 上以 74.2% 成功率诱导 LLM 智能体执行攻击者指定动作

    该工作提出 APEX,通过构造并迭代优化针对用户任务与攻击者选定动作的对抗性技能链,利用上游技能诱导智能体写下真实任务进度记录、下游技能借该记录携带虚假的用户批准声明,从而在 SkillsBench 的四个目标动作族与六个模型上共 690 次尝试中成功诱导 512 次(74.2%),GPT-5.4 上完整链成功率为 84.3%,而将工作流合并为单一技能时仅 17.4%;作者还评估了一种提示防御,使 GPT-5.4 的目标动作成功率从 84.3% 降至 59.1%,同时 72 个良性原生技能任务的验证器测试通过率从 86.7% 降至 56.3%。

  2. arXiv

    SkillSeek 用 BM25 加小型重排器在 89 项 SkillsBench 任务上追平 LLM 介导检索,单次花费从 51.30 美元降到 27.54 美元

    该工作提出开源两阶段技能检索器 SkillSeek(BGE-base 双编码器接小型交叉编码器,经 MCP 暴露),在 89 项 SkillsBench 基准、两种技能池与两种骨干模型的网格上,观察到纯 bm25 在四个设置中的三个达到或超过 Liu 等人 LLM 介导循环的通过率,小型交叉编码器在第四个设置(34K 池 + Qwen3.5)补齐差距至相同的 0.442,同时把每次试验总花费从 51.30 美元降到 27.54 美元(距无技能基线 27.41 美元不到五十美分),并把这一模式归因于第一阶段召回上限。

  3. arXiv

    SkillDRE 用预执行扫描与运行时反馈的双阶段闭环进化恶意技能,在 SkillsBench 四个受害模型上平均攻击成功率 45.28%

    SkillDRE 是一个全自动框架,给定良性任务及其关联技能后,自主构造并验证任务条件下的恶意目标与可验证判定规则,并在保持二者固定的前提下,通过扫描器引导的进化与运行时防御反馈引导的细化交替迭代,使完整恶意技能包在预执行扫描与运行时防御两个阶段之间形成闭环,在 SkillsBench 上对四个受害模型取得 45.28% 的平均攻击成功率,比最强基线高出 40.3%,且最终提交的技能未触发任何 SkillScan 发现并大体保留良性任务性能。

已读完全部报道