监控能力排名可能被任务混合带偏：配对比较与部署后风险各补一个盲区
核心概要
OpenAI 对齐研究团队在 g-mean² 之外补充了两个监控能力指标：一个只在两个模型都产生目标行为的同一批任务实例上比较，减少因各自实例分布不同造成的排名偏差；另一个模拟监控器作为拒绝闸门、允许重试时的部署风险，同时给出坏输出概率、部署概率与已部署输出中的坏输出比例。合成实验中，已知监控能力排序在能力差异拉大时仍能被配对比较恢复。
深度剖析
监控能力的比较现在可以限定在两个模型共同支持的任务实例上，而不是各自在自己的实例集合上打分。 此前的数据集级 g-mean² 在每个模型自己产生目标行为的实例上计算，不同模型支持的实例子集不同，分数可能反映不同的任务混合。 在固定随机种子的合成实验中，模型 B 在每个固定实例上都更易被监控，但随着其能力优势增大、正例转向更难实例，数据集级 g-mean² 逐渐偏向模型 A，而配对比较仍偏向模型 B。
配对比较把每对模型的差异合成一个整体排序，并保留差异的大小而不只保留胜负方向。 最初尝试的配对 Bradley–Terry 评分只记录每个实例的胜、负或平，丢弃了成对差异的幅度。 在七个合成模型、已知排序为 M7 到 M1 的设定中，能力离散度增大时，配对 HodgeRank 仍接近已知排序，而 g-mean² 与配对 Bradley–Terry 原型退化。
第二个指标把监控器当作部署时的拒绝闸门，按重试预算给出请求最终部署坏输出、部署任何输出以及已部署输出中坏输出所占的比例。 g-mean² 不反映监控器在部署中如何被使用，也不反映被拒绝后重试会怎样改变风险。 在历史系统卡数据上，三种监控范围下闸门平均降低主要风险量；在同样至少四次有效尝试的实例上，从一次增加到四次尝试会增加遇到监控漏判的机会，侵蚀部分收益。
启示与展望
这套指标面向需要比较多个模型监控能力、或评估监控器作为部署闸门的研究与工程场景。配对比较只在两个模型由受支持比较连通的范围内给出排序，不同连通分量之间不做比较；部署后风险指标在结果类与过程类评估上给出，过程类只用正例尝试，因此报告的是条件逃逸率而非完整输出混合下的风险。作者提出的下一步是把比较细化到规范实例与行为类别，并显式报告行为类别覆盖。
干预类评估无法判断哪些正例由干预引起，因此因果召回只能给出区间；当最小效应比例为 0.3、监控标记比例为 0.4 时，区间可覆盖 0 到 1。配对匹配也不保证两个模型在同一实例上产生同等难度或同类的行为，例如同一蜜罐任务上一个模型直接改写测试框架、另一个用短包装模块，较高的配对真阳率可能只说明行为更易判读。部署后风险指标依赖模型的目标行为发生率，不能替代 g-mean²。