不训练也能查违规：白化激活后，Qwen2.5-7B 在 DynaBench 上拿到 86.0% F1
核心概要
企业要检查大模型回复是否违反内部政策，此前主要靠微调检测器或让另一个大模型逐条评判，训练和推理开销都不小。新做法把违规判定改写成激活空间里的分布外检测：只用政策文本和少量示例估计一个白化变换，把合规回复的隐状态标准化，再用其欧氏范数对照校准阈值。在 DynaBench 测试集上，以 Qwen2.5-7B-Instruct 为骨干时 F1 达到 86.0%，高于表中所列微调检测器与 LLM-as-a-judge 基线。
深度剖析
政策合规检查不再只看模型写出的文字，而是看模型在生成回复时的内部隐状态。 此前的护栏机制面向预设的安全类别，难以覆盖企业自定义、随情境变化的政策条款；LLM-as-a-judge 与微调合规检测器虽然灵活，却带来明显的训练与推理延迟。 在 DynaBench 测试集上，以 Qwen2.5-7B-Instruct 为骨干的方法取得 86.0% F1，高于表中微调模型 DynaGuard-8B 的 73.1% 和 LLM-as-a-judge 的 GPT-4o-mini 的 70.1%。
检测器把合规回复当作一个分布，把违规回复当作偏离该分布的样本。 做法是白化：用合规交互的隐状态估计均值与协方差，做去相关和标准化，使各维可比，再取前 K 个主成分上的欧氏范数作为违规分数。 在 DynaBench 的十二个政策类别上，每类生成 100 条对比样本并按 80/20 划分，白化统计只用其中合规样本，其余混合样本用于选层和定阈值；在 Llama-3.1-8B 上，每类 100 个样本时 F1 为 75.6%，增至 750 个只升到 79.1%。
同一套白化打分也能直接用在已微调检测器的隐状态上，而不必读它生成的分类结果。 DynaGuard 系列原本靠生成式分类器给出判定，改用其内部激活后分数上升。 DynaGuard-1.7B 从生成式的 65.2% 升到白化的 77.6%，DynaGuard-4B 从 72.0% 升到 78.5%，DynaGuard-8B 从 73.1% 升到 80.6%。
启示与展望
演示范围是 DynaBench 的多轮对话测试集与 τ-bench 的航空域政策，骨干包括 Mistral-7B-Instruct-v0.2、Llama-3.1-8B-Instruct、Gemma-2-9B-it、Qwen3-8B 和 Qwen2.5-7B-Instruct；DynaBench 的交互由可观测的替代模型处理，因为原始生成模型的激活不可得。作者提出后续可把激活信号用于引导生成，走向主动执行政策。
作者说明“免训练”指不做梯度优化或参数更新，但仍需少量带标签样本选层和定阈值，校准数据不具代表性时性能可能下降。在 τ-bench 真实轨迹上，自动阈值下 F1 为 0.67，AUC 为 0.87，约 14 条带标签轨迹重新校准阈值后 F1 升到 0.86。低假阳性率区间的系统评估被列为后续工作。