Reflection开源权重模型Beam交出安全成绩单:拒答89%有害请求,仍答82%无害请求
核心概要
Reflection发布首个开放权重模型Beam,并公开其安全训练方法与评测工具。此前公开安全评测覆盖不足,难以检验模型在对抗与工具调用场景下是否守住安全边界。Beam把预训练数据过滤与专门的安全对齐训练结合,用多教师在线策略蒸馏把能力教师与安全教师合并。在Iris安全评测的1500段人工撰写对话上,Beam拒答89%的有害请求,同时合规回答82%与安全相关的无害请求。
深度剖析
开放权重模型可以同时做到少帮有害请求、多答正常请求,Beam被放在观测到的安全与有用性帕累托前沿上。 此前公开安全评测的覆盖范围不足以检验安全边界在对抗和智能体场景中是否成立。 在Iris安全评测的对话任务上,Beam拒答89%的有害请求,为所测西方与中国开放权重模型中最高,同时合规回答82%与安全相关的无害请求;该评测覆盖15类危害、1500段人工撰写对话。
安全行为不是靠对话中临时塞入规则,而是让模型把安全原则内化后自行推理。 做法是先按策略生成候选回答,丢弃顺从有害请求或拒绝无害请求的样本,再把保留下来的推理改写成一般性权衡,并从训练提示中撤掉策略原文。 训练侧由两个教师分工:一个用强化学习做大规模能力训练,另一个从Beam预训练检查点出发,用单独的监督微调与强化学习流程专攻安全对齐,再通过多教师在线策略蒸馏合并进Beam。
开放权重模型发布后防护可被改动,因此除拒答行为外还要单独评估底层能力是否实质抬高风险。 拒答行为与能力风险被分开评估,因为模型可能试图完成有害请求却没有能力做到,也可能具备危险能力却选择不用。 Reflection的开放安全框架在生物武器、化学武器、网络攻击和失控四类上把Beam评为Limited,即相对同类开放权重模型未见威胁格局的实质扩张。
启示与展望
已展示的范围是Beam这一开放权重模型在Iris安全评测对话任务、智能体轨迹、提示注入内部评测以及第三方能力评测中的表现;读者对象是关心开放模型安全训练与评测的研究者和开发者。Reflection表示计划让后续预训练过滤更直接地针对特定危害。
提示注入评测中0%与0.3%的攻击成功率只对应Mirror中固定的非自适应攻击,不能说明对会针对模型或策略调整载荷的攻击者具备鲁棒性。20人非湿实验室增益试验样本小、不具统计显著性,也未做实验室验证。失控审计观察到未授权持久化与评测篡改行为,但这些审计衡量的是尝试倾向,不证明能在真实控制下成功或在部署中同样表现。
