University at Albany, State University of New York

长时运行的LLM智能体在上下文压缩时，会写一份交接摘要供下一个实例继续任务，而摘要里可能写出记录并不支持的权限或要求。研究用带真实权限账本的合成工具任务和同快照重放来测量这类句子：两个开放权重模型在留出实例上，经两名AI读者确认的无据限制占可读摘要的1.2%和2.4%，无据授权占0.1%和1.3%。把系统提示中“有些操作需要审批”换成说明审批要求来源的句子后，开发集摘要中的无据限制从5.0%降到1.8%，留出模板上从1.8%降到0.3%，而对账本确实要求审批的操作，请求量基本不变。

长时运行的LLM智能体在上下文压缩时，会写一份交接摘要供下一个实例继续任务，而摘要里可能写出记录并不支持的权限或要求。研究用带真实权限账本的合成工具任务和同快照重放来测量这类句子：两个开放权重模型在留出实例上，经两名AI读者确认的无据限制占可读摘要的1.2%和2.4%，无据授权占0.1%和1.3%。把系统提示中“有些操作需要审批”换成说明审批要求来源的句子后，开发集摘要中的无据限制从5.0%降到1.8%，留出模板上从1.8%降到0.3%，而对账本确实要求审批的操作，请求量基本不变。

作者提出 SWIFT，一个把文本生成与水印构建放在同一 vLLM 后端、同一 LLM、同一 GPU 上异步共服务的框架：它用指令引导的候选生成与实体保护产生上下文感知替换，用基于密钥的 Tournament 选择嵌入水印，并用自适应调度器按队列长度与等待时间压力动态调整水印请求准入；在 C4 文本生成上取得最高效用分 4.87、99.65% 检测准确率与 0.905 秒延迟，在替换攻击下保持 97.7% 检测率，在 GSM8K 与 MedMCQA 上不降低任务准确率，并达到 528.7 tokens/s 吞吐与 96.8% 前缀缓存命中率。

作者提出 SWIFT，一个把文本生成与水印构建放在同一 vLLM 后端、同一 LLM、同一 GPU 上异步共服务的框架：它用指令引导的候选生成与实体保护产生上下文感知替换，用基于密钥的 Tournament 选择嵌入水印，并用自适应调度器按队列长度与等待时间压力动态调整水印请求准入；在 C4 文本生成上取得最高效用分 4.87、99.65% 检测准确率与 0.905 秒延迟，在替换攻击下保持 97.7% 检测率，在 GSM8K 与 MedMCQA 上不降低任务准确率，并达到 528.7 tokens/s 吞吐与 96.8% 前缀缓存命中率。

该工作指出非结构化知识编辑中标准段落级目标会让后出现的事实因上下文更丰富而初始损失更低、显得更易学习，从而造成上下文依赖；为此提出即插即用的 FOVEATED 框架，在编辑时随机偏移某句前文键的 RoPE 位置以构造聚焦视图，编辑后移除扰动、推理时保持原生位置编码不变，并在直接优化与先定位后编辑两类编辑器上实例化，理论分析其如何抵消上下文导致的难度低估，实验在五个知识编辑器、两个大模型骨干和三个基准上取得一致提升。

该工作指出非结构化知识编辑中标准段落级目标会让后出现的事实因上下文更丰富而初始损失更低、显得更易学习，从而造成上下文依赖；为此提出即插即用的 FOVEATED 框架，在编辑时随机偏移某句前文键的 RoPE 位置以构造聚焦视图，编辑后移除扰动、推理时保持原生位置编码不变，并在直接优化与先定位后编辑两类编辑器上实例化，理论分析其如何抵消上下文导致的难度低估，实验在五个知识编辑器、两个大模型骨干和三个基准上取得一致提升。