Reflection开源权重模型Beam交出安全成绩单:拒答89%有害请求,仍答82%无害请求
Reflection发布首个开放权重模型Beam,并公开其安全训练方法与评测工具。此前公开安全评测覆盖不足,难以检验模型在对抗与工具调用场景下是否守住安全边界。Beam把预训练数据过滤与专门的安全对齐训练结合,用多教师在线策略蒸馏把能力教师与安全教师合并。在Iris安全评测的1500段人工撰写对话上,Beam拒答89%的有害请求,同时合规回答82%与安全相关的无害请求。
Reflection发布首个开放权重模型Beam,并公开其安全训练方法与评测工具。此前公开安全评测覆盖不足,难以检验模型在对抗与工具调用场景下是否守住安全边界。Beam把预训练数据过滤与专门的安全对齐训练结合,用多教师在线策略蒸馏把能力教师与安全教师合并。在Iris安全评测的1500段人工撰写对话上,Beam拒答89%的有害请求,同时合规回答82%与安全相关的无害请求。
已读完全部报道