Chenxu Wang

大模型智能体靠多轮工具调用完成任务，但用户提问、工具说明或环境观察里夹带的恶意内容会诱导它做出不安全动作。AgentSafeEvo把攻防做成一场覆盖多类任务与攻击的博弈：攻击方学会构造能暴露防守方工具使用弱点的任务，防守方学会在这些攻击下安全完成任务，并用任务内防守方奖励波动来调整每个任务对双方更新的权重。在智能体安全与通用能力基准上，该方法提升了对抗鲁棒性，同时保持通用智能体能力。

大模型智能体靠多轮工具调用完成任务，但用户提问、工具说明或环境观察里夹带的恶意内容会诱导它做出不安全动作。AgentSafeEvo把攻防做成一场覆盖多类任务与攻击的博弈：攻击方学会构造能暴露防守方工具使用弱点的任务，防守方学会在这些攻击下安全完成任务，并用任务内防守方奖励波动来调整每个任务对双方更新的权重。在智能体安全与通用能力基准上，该方法提升了对抗鲁棒性，同时保持通用智能体能力。