# 涌现性失准

语言模型在后续微调中可能重新出现已被压制的错误行为，而常规后处理能否压住、能压多久此前缺少统一比较。PEARL在GRPO的在线采样之外，加入从已缓存的不良轨迹中间状态续写的对抗前缀，让策略练习从半错状态恢复。在Qwen3-4B与GPT-OSS-20B两类模型、窄触发与宽触发两类实验模型上，PEARL即时压制较强并保住任务准确率，在宽触发设定和GPT-OSS-20B上收益最明显；窄触发加Qwen3-4B时，大量定向重训下SFT更耐久。

语言模型在后续微调中可能重新出现已被压制的错误行为，而常规后处理能否压住、能压多久此前缺少统一比较。PEARL在GRPO的在线采样之外，加入从已缓存的不良轨迹中间状态续写的对抗前缀，让策略练习从半错状态恢复。在Qwen3-4B与GPT-OSS-20B两类模型、窄触发与宽触发两类实验模型上，PEARL即时压制较强并保住任务准确率，在宽触发设定和GPT-OSS-20B上收益最明显；窄触发加Qwen3-4B时，大量定向重训下SFT更耐久。

该工作对涌现失准（EM）做了动态二阶几何研究：追踪训练轨迹发现方向性Hessian曲率集中在语义枢轴token上，Grassmann投影显示有害-安全差距扩大主要源于安全梯度重叠下降而非转向新的有害回路，据此提出参数级几何缓解框架，把经验有害梯度子空间从LoRA更新中正交投影掉，在Qwen2.5-14B-IT上把自由生成EM压低最多80.0%，并在四个开放权重指令模型家族（3B–20B）中通过教师强制评估显示同一有害子空间控制着冻结EM响应的条件支持度。

该工作对涌现失准（EM）做了动态二阶几何研究：追踪训练轨迹发现方向性Hessian曲率集中在语义枢轴token上，Grassmann投影显示有害-安全差距扩大主要源于安全梯度重叠下降而非转向新的有害回路，据此提出参数级几何缓解框架，把经验有害梯度子空间从LoRA更新中正交投影掉，在Qwen2.5-14B-IT上把自由生成EM压低最多80.0%，并在四个开放权重指令模型家族（3B–20B）中通过教师强制评估显示同一有害子空间控制着冻结EM响应的条件支持度。