强化学习即服务被20美元攻破：Bait用奖励探针让有害训练学不进去

智能体强化学习即服务把数据采样和奖励打分交给用户，服务方只负责回滚和策略优化，因此用户环境里的一个有害奖励函数就能在训练中逐步抹掉模型的安全对齐。 此前的安全对齐在训练前完成，而这类服务允许用户自带奖励信号参与后续优化，使对齐结果可以被下游训练改写。 在Tinker API上以BeaverTails有害数据和一个有害奖励模型发起训练，训练后的模型在三个安全基准上的平均有害分数比训练前提高66.42%。

防御的做法是在回滚阶段把显式有害的回答混进策略模型的回答组，让奖励函数自己暴露偏好。 检测不依赖读取用户环境内部，而是看用户奖励函数如何给两类回答打分。 奖励散度定义为Bait回答的平均奖励减去非Bait回答的平均奖励，其符号为正即判定该组回答由有害奖励函数打分，检测为有害时该组奖励符号被翻转后用于优势计算。

在自建测试台上，这套检测加惩罚在有害指令数据集、模型规模和良性智能体环境变化时都压低了有害分数，同时没有牺牲良性任务的学习。 无防御时有害分数随训练上升，而加入防御后有害分数维持在低位，良性智能体准确率与无防御相当。 三种有害指令数据集上平均有害分数从20.4降到6.8、平均智能体准确率从93.1升到96.0；三种模型规模上平均有害分数下降12.4%；AlfWorld与WebShop上分别下降44.9%和39.1%，智能体准确率分别小幅下降1%和0.9%。

实验在自建测试台上完成，因为实现防御需要修改回滚与策略优化，而Tinker API不开放这两步；攻击演示则在Tinker API上进行。评估覆盖BeaverTails、DecodingTrust、DirectHarm4三种有害指令数据集，Qwen3-VL-2B/4B/8B三种模型规模，以及EZPoints、AlfWorld、WebShop三种良性智能体环境，有害分数由Qwen3-8B评判模型打分。

防御本身是检测式方法，天然带有漏检与误检：训练初期良性任务上误检率一度高达75%，随智能体准确率上升而下降；自适应攻击Excision在合适切除强度下可把漏检率提高到约0.30，但更高强度会因误切除非Bait回答而压低漏检率上限并扰乱有害学习。作者把其他自适应攻击的考察留作未来工作，并指出该防御对自演化训练可能适用也可能不适用。