只看AUROC会选错预警探针：Prewarn按起始点计分，两个模型多数循环能在起始前报警
核心概要
语言模型失败常从某个 token 开始，但常用的响应级 AUROC 只看整条回答是否失败，不看报警发生在何时。Prewarn 先在验证集上按应用允许的错误率固定阈值，再相对标注的起始点分别评分类、检测与预警三项任务。在重复退化案例中，只按长度打分的规则 AUROC 接近满分却永远无法预警；冻结探针在 Apertus 与 Llama 上对多数退化回答在起始前报警，在 Mistral 上则多在起始后报警。
深度剖析
评估语言模型失败监控器时，需要把“报警是否发生在失败开始之前”单独计分，而不是只判断整条回答是否失败。 此前的监控器多用 AUROC、准确率或固定假阳性率下的召回率来评分，而这些指标把起始点之后的每个单元都算作正例，因此奖励的是报出失败，而不是提前报出失败。 在重复退化案例中，只有百分之几的回答退化，且退化回答都跑到 token 上限，于是一条只看长度的规则在 Apertus 上取得接近完美的 AUROC，但它唯一的报警落在预算耗尽之后。
Prewarn 把监控器当作部署时那样来评：阈值先在验证集上固定，再在测试集上按报警相对起始点的位置打分。 该协议要求两样此前评估常缺的东西：标注好的起始点，以及按应用选定的错误率预先固定的阈值。 在 Apertus、Llama-3.1-8B-Instruct 与 Mistral-7B-Instruct 上，以重复退化为案例，阈值在验证集上按假警报预算校准，测试集上的假警报率保持在预算之内。
线性探针能在部分模型上提前报警，而低秩适配主要扩大预警窗口的覆盖，却很少提高首次报警早于起始点的比例。 冻结探针读取模型自身激活，在 Apertus 与 Llama 上首次报警早于起始点的比例超过一半，中位首次报警落在起始点之前数十个 token；在 Mistral 上该比例低于一半，中位报警落在起始点之后。 在同一层比较冻结探针与加低秩适配器的探针时，适配使预警窗口覆盖率在每个模型上都翻倍以上，但首次报警早于起始点的比例提升很小；六个无训练基线中没有一个比随机报警明显更常提前报警。
启示与展望
演示范围是三个开放指令模型在随机采样下的重复退化，测试集标签经人工复核，阈值在验证集上按假警报预算校准；作者把有害内容与幻觉实体等其它失败留给后续工作。
提前量依赖起始点的约定，把起始点放在第一个循环的首个 token 会使报警相对更早；循环后又输出结束符的回答被计为健康，使假警报率偏保守；在 Apertus 与 Llama 上起始点通常晚于健康回答结束，探针的部分报警可能反映回答已运行多长；训练策略与选择规则只在退化上选定。