多模态推理模型忘掉一张脸,却不必忘掉那个人:VKCR把遗忘限定在图像通道
核心概要
多模态大推理模型会通过图像与知识的跨模态关联,在中间推理里重新取出敏感信息,只压住最终答案并不够。VKCR把遗忘目标改写成一条指定的“图像到知识”关联:先在关联条件化的低秩参数子空间内定位编辑,再用反事实分支重绑定,压掉带目标或缺乏依据的推理续写、抬升有证据支持的非敏感替代。在CLEAR-R与MLLMU-R上,它同时降低了图像条件下的目标泄漏与幻觉式重新关联,并保留了非敏感视觉推理和允许的纯文本知识访问。
深度剖析
多模态大推理模型的遗忘对象从“知识内容”变成“某张图像到某条知识的访问关联”:同一份知识在允许的文本语境里仍应可取,但指定图像不应再成为取它的证据。 此前的多模态遗忘方法主要针对样本、概念或知识内容,没有把知识与承载它的跨模态关联分开;在推理模型上,目标信息可能从最终答案消失却留在中间推理里,或被错误的替代知识顶替。 在5%遗忘设置下,CLEAR-R上VKCR的F-RSL为7.39、F-RSH为18.36,而R-MUSE的F-RSL为49.85、F-RSH为36.81;MLLMU-R上VKCR的F-RSL为35.28、F-RSH为21.25,R-MUSE为96.15与24.68。
编辑只落在与指定图像条件相关的紧凑参数子空间里,再按模型实际生成的推理轨迹改写受影响的那条分支。 VKCR用秩分解的低秩更新承载编辑,原始权重保持冻结;读出同质时用匹配的目标态与非敏感态对比构造固定输入侧基,读出异质时改用匹配视觉干预筛出可编辑模块。 在CLEAR-R的Qwen2.5-VL-3B-Instruct上只更新81,920个参数,占模型0.0022%;在MLLMU-R的LLaVA-1.5-7B上更新503,808个参数,占0.0071%。
抑制目标还不够,还要阻止模型把被遗忘的对象换成一个同样没有依据的新身份或新事实。 目标抑制只降低标注目标的支撑度,VKCR另外压低模型实际产出的具体关系值,并在最早出现目标或缺乏依据信息的推理前缀处,降低无效续写的平均token对数似然、抬高有效替代并加排序间隔。 去掉重新关联控制的消融变体F-RSH升到59.00,完整VKCR为21.25;去掉关联条件化定位后F-RSH为31.51、R-RL降到41.87,完整版R-RL为59.37。
启示与展望
演示范围是多模态大推理模型上的行为级关联遗忘:在CLEAR-R与MLLMU-R两个由现有基准扩展出的推理感知基准上,用Qwen2.5-VL-3B-Instruct、LLaVA-1.5-7B-HF与R1-Onevision-7B-RL三个骨干,在5%遗忘设置下报告三次随机种子运行的平均值,另有10%、15%与1%等比例的补充结果。
作者明确说明这里的关联遗忘是行为层面的,并不声称定位或抹除某条内部神经通路;同时承认保留效用仍有中等程度下降,原因是当前多模态推理模型的参数与表示耦合,同一批层和中间特征共同支撑多个身份、关系与推理轨迹。
