跳到主要内容
检索

# 零空间投影

2 篇关联报道

订阅更新
  1. arXiv

    Nullify 用零空间激活引导实现免训练遗忘:TOFU forget10 上 FQ 升至 0.58、MU 保持 0.62,与重训练持平

    Nullify 提出一种免训练、不改权重的推理期激活引导方法:用 IDK 对比激活构造遗忘方向,并用零空间投影把修正限制在保留知识激活的正交子空间内,从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量,同时几乎不损失模型效用,且计算与显存开销远低于梯度类基线。

  2. arXiv

    DNAlign 用零空间投影把安全扰动限制在有害子空间,在多个 LLM 主干上降低有害输出且保持流畅与事实效用

    该工作提出 DNAlign,一个把控制论优化与零空间投影结合的轻量对齐框架:将 LLM 视为动态系统并施加可控扰动以引导生成走向安全行为,投影模块把扰动限制在由中性隐藏状态导出的有害相关子空间内以保留通用知识与回答质量,并用人类偏好数据训练的价值函数自适应优化控制信号;在多个 LLM 主干上的评测显示其持续减少有害输出,同时保持流畅性、连贯性与事实效用,整体表现优于先前的对齐基线且未牺牲生成多样性。

已读完全部报道