Tiansheng Huang

智能体强化学习即服务把数据采样和奖励打分交给用户，一个有害奖励函数就能以低至20美元的成本抹掉模型的安全对齐。Bait在回滚阶段把专门训练的Bait模型生成的显式有害回答混入策略模型的回答组，用两类回答平均奖励之差（奖励散度）的符号判断奖励函数是否有害，检测为有害时翻转该组奖励符号施加惩罚。在自建测试台上，Bait把三种有害指令数据集上的平均有害分数从20.4降到6.8，平均智能体准确率从93.1升到96.0。

智能体强化学习即服务把数据采样和奖励打分交给用户，一个有害奖励函数就能以低至20美元的成本抹掉模型的安全对齐。Bait在回滚阶段把专门训练的Bait模型生成的显式有害回答混入策略模型的回答组，用两类回答平均奖励之差（奖励散度）的符号判断奖励函数是否有害，检测为有害时翻转该组奖励符号施加惩罚。在自建测试台上，Bait把三种有害指令数据集上的平均有害分数从20.4降到6.8，平均智能体准确率从93.1升到96.0。