Marco Negri

语言模型失败常从某个 token 开始，但常用的响应级 AUROC 只看整条回答是否失败，不看报警发生在何时。Prewarn 先在验证集上按应用允许的错误率固定阈值，再相对标注的起始点分别评分类、检测与预警三项任务。在重复退化案例中，只按长度打分的规则 AUROC 接近满分却永远无法预警；冻结探针在 Apertus 与 Llama 上对多数退化回答在起始前报警，在 Mistral 上则多在起始后报警。

语言模型失败常从某个 token 开始，但常用的响应级 AUROC 只看整条回答是否失败，不看报警发生在何时。Prewarn 先在验证集上按应用允许的错误率固定阈值，再相对标注的起始点分别评分类、检测与预警三项任务。在重复退化案例中，只按长度打分的规则 AUROC 接近满分却永远无法预警；冻结探针在 Apertus 与 Llama 上对多数退化回答在起始前报警，在 Mistral 上则多在起始后报警。