MLCommons 发布 Jailbreak Benchmark v1.0：八个开放权重模型在越狱条件下不安全回复率从 11.08% 升至 18.65%，平均韧性差距 7.57%
相关研究与后续进展
核心概要
MLCommons Jailbreak Benchmark v1.0 提出一套端到端方法，用 264 条覆盖十一个危害类别的种子提示和来自 MLCommons 越狱分类法的代表性攻击，对八个开放权重大语言模型进行配对基线与对抗评估，按 AILuminate 评估标准 v1.4 判定回复，并以韧性差距衡量鲁棒性；结果显示不安全回复率从基线 11.08% 升至越狱条件下的 18.65%，平均韧性差距 7.57%，可访问系统的平均差距更大，攻击有效性随攻击类别与危害类型差异明显。
Figure 1: Resilience gap by SUT: safe-response rates before and after the application of jailbreak techniques.
arXiv深度剖析
该基准给出一个端到端、可复现的越狱评估流程，把系统与攻击选择、配对基线与对抗评估、人工标注、自动评估器校准、评分、分级和风险校准披露整合进同一条流水线。 相较以往分散的越狱评测实践，这里把评估标准、攻击分类法与披露规则纳入统一方法框架，并明确以 AILuminate 评估标准 v1.4 作为回复判定依据。 方法学描述来自摘要文本，覆盖评估流程各环节；具体实现细节、代码与数据在摘要中未展开。
在八个开放权重系统、264 条种子提示、十一个危害类别与代表性攻击上，不安全回复率由基线 11.08% 升至越狱条件下的 18.65%，平均韧性差距为 7.57%。 该结果以配对基线—对抗条件之差（韧性差距）量化安全性能变化，而非仅报告单点攻击成功率，使不同系统与攻击之间具备可比口径。 摘要给出明确的样本规模与总体统计量；未提供逐系统、逐攻击的置信区间或显著性检验信息。
可访问系统表现出更大的平均韧性差距，且攻击有效性在不同攻击类别与危害类型之间差异显著。 把系统可访问性与攻击类别、危害类型一并纳入比较维度，提示越狱风险并非在所有条件下均匀分布。 摘要层面的定性结论，未给出各系统或各类别的具体数值与分组样本量。
基准同时考察评估器可靠性与测量误差来源，为比较性越狱评估提供可复现的方法基础，并支持未来在系统、攻击、危害与评估方法上的扩展。 将评估器校准与误差分析作为基准的组成部分，而不仅是报告模型得分，从而把测量可靠性纳入越狱评测的讨论范围。 摘要说明该基准包含评估器可靠性分析，但未列出具体误差指标或校准结果。
启示与展望
该基准面向单轮、文本形式的越狱攻击，适用于对开放权重大语言模型进行配对基线与对抗条件下的安全鲁棒性比较，并以 AILuminate 评估标准 v1.4 作为回复判定依据。其方法框架被设计为可扩展，便于后续纳入更多系统、攻击、危害类别与评估方法，也便于把评估器校准与测量误差分析纳入常规评测流程。对希望建立可复现越狱评测口径、或需要跨系统比较安全性能变化的研究者与工程团队，这一流程提供了可直接参照的起点。
摘要未列出逐系统、逐攻击或逐危害类别的具体数值，也未说明置信区间、显著性检验或人工标注与自动评估器之间的一致性水平，因此韧性差距在不同条件下的分布仍待原文展开。评估器可靠性与测量误差来源被列为基准的考察内容，但其具体指标与结论在摘要中未呈现。此外，本次读取范围为摘要，未包含正文、图表与附录，上述细节需以原文为准。