Yuxing Peng

非前缀KV缓存复用把检索到的块各自编码再拼接，会丢掉19%到100%依赖上下文的正确回答，同类干扰块还会加重损失。研究比较了把有限修复预算花在干扰块还是答案块上：恢复全部干扰块需要接近一次完整预填充，而把预算用于重算答案块，在开放域问答与API文档的九个设置中，5%预算下均胜过按token挑选的修复方法。

非前缀KV缓存复用把检索到的块各自编码再拼接，会丢掉19%到100%依赖上下文的正确回答，同类干扰块还会加重损失。研究比较了把有限修复预算花在干扰块还是答案块上：恢复全部干扰块需要接近一次完整预填充，而把预算用于重算答案块，在开放域问答与API文档的九个设置中，5%预算下均胜过按token挑选的修复方法。