跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

FOVEATED 通过随机偏移前文 RoPE 位置构造聚焦视图,在五个知识编辑器、两个骨干模型和三个基准上一致提升原子事实召回

该工作指出非结构化知识编辑中标准段落级目标会让后出现的事实因上下文更丰富而初始损失更低、显得更易学习,从而造成上下文依赖;为此提出即插即用的 FOVEATED 框架,在编辑时随机偏移某句前文键的 RoPE 位置以构造聚焦视图,编辑后移除扰动、推理时保持原生位置编码不变,并在直接优化与先定位后编辑两类编辑器上实例化,理论分析其如何抵消上下文导致的难度低估,实验在五个知识编辑器、两个大模型骨干和三个基准上取得一致提升。