智能体安全不再只防网页注入：攻防双方共同进化，工具调用也纳入对抗训练
核心概要
大模型智能体靠多轮工具调用完成任务，但用户提问、工具说明或环境观察里夹带的恶意内容会诱导它做出不安全动作。AgentSafeEvo把攻防做成一场覆盖多类任务与攻击的博弈：攻击方学会构造能暴露防守方工具使用弱点的任务，防守方学会在这些攻击下安全完成任务，并用任务内防守方奖励波动来调整每个任务对双方更新的权重。在智能体安全与通用能力基准上，该方法提升了对抗鲁棒性，同时保持通用智能体能力。
深度剖析
智能体安全训练从只盯语言层面的安全，扩展到覆盖多种任务与攻击类型的攻防博弈。 此前的对抗共进化工作主要针对语言层面的安全，或聚焦网页任务中的间接提示注入。 在智能体安全基准与通用能力基准上，该方法在提升对抗鲁棒性的同时保持了通用智能体能力。
攻防双方在同一套任务上互相出题、互相适应，攻击方专门寻找防守方工具使用中的薄弱环节。 攻击方学习构造对抗性智能体任务，防守方则学习在这些攻击下安全完成任务，两者构成攻防博弈。 该框架建立在共进化强化学习之上，任务与攻击类型覆盖多个类别。
每个任务对攻防更新的贡献不再一视同仁，而是按防守方在该任务内的奖励波动来加权。 可学习性引导的任务加权用任务内防守方奖励的变异性来调整该任务对攻击方和防守方更新的贡献。 这一加权机制与攻防共进化训练结合，用于智能体安全任务。
启示与展望
该工作面向需要多轮工具调用的智能体安全训练，覆盖多种任务与攻击类型，并在智能体安全基准与通用能力基准上评估。摘要未说明具体基准名称、任务数量或部署场景，因此适用读者是关注智能体安全训练与对抗鲁棒性的研究人员和工程师。
摘要只报告方法在安全与通用能力基准上提升了对抗鲁棒性并保持通用能力，未给出具体指标数值、基准名称或攻击类型清单。可学习性引导的任务加权依赖任务内防守方奖励的变异性，其在不同任务分布下的表现摘要未作说明。