跳到主要内容
检索

# 几何缓解框架

1 篇关联报道

订阅更新
  1. arXiv

    跟踪微调轨迹发现:安全对齐的LLM在窄域微调中并非被“转向”有害,而是安全子空间被侵蚀,投影掉有害梯度子空间可在Qwen2.5-14B-IT上把自由生成涌现失准压低最多80.0%

    该工作对涌现失准(EM)做了动态二阶几何研究:追踪训练轨迹发现方向性Hessian曲率集中在语义枢轴token上,Grassmann投影显示有害-安全差距扩大主要源于安全梯度重叠下降而非转向新的有害回路,据此提出参数级几何缓解框架,把经验有害梯度子空间从LoRA更新中正交投影掉,在Qwen2.5-14B-IT上把自由生成EM压低最多80.0%,并在四个开放权重指令模型家族(3B–20B)中通过教师强制评估显示同一有害子空间控制着冻结EM响应的条件支持度。

已读完全部报道