AdaGuard用自适应护栏模型按用户自定义策略审查智能体轨迹,4B模型在AdaptiveSafety上达到89.30%二分类准确率
该工作提出AdaptiveSafety数据集(10,939条训练样本、1,000条测试样本,策略含1至100条规则)与SafePO强化学习算法,并据此训练出0.6B、4B、8B三档AdaGuard护栏模型,在推理时按用户提供的策略评估智能体轨迹;其中4B模型在AdaptiveSafety与DynaBench上分别取得89.30%和71.82%的二分类准确率。
该工作提出AdaptiveSafety数据集(10,939条训练样本、1,000条测试样本,策略含1至100条规则)与SafePO强化学习算法,并据此训练出0.6B、4B、8B三档AdaGuard护栏模型,在推理时按用户提供的策略评估智能体轨迹;其中4B模型在AdaptiveSafety与DynaBench上分别取得89.30%和71.82%的二分类准确率。
已读完全部报道