# 在策略校准

推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。

推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。

语言模型改进语言模型时，判断哪条改动值得试一直靠昂贵训练实验来验证。LM2LM把冻结的大模型当作“研究世界模型”，用真实实验记录在上下文中预测改动收益，作为强化学习奖励，并定期执行当前策略高分提案、把实测结果补回记录。在八个自回归与扩散语言模型开发环境上，Qwen3.8-27B经此训练后在留出任务上超过GPT-6-sol，即使后者上下文中带有300条真实实验记录，且数据生成成本低约33%。

语言模型改进语言模型时，判断哪条改动值得试一直靠昂贵训练实验来验证。LM2LM把冻结的大模型当作“研究世界模型”，用真实实验记录在上下文中预测改动收益，作为强化学习奖励，并定期执行当前策略高分提案、把实测结果补回记录。在八个自回归与扩散语言模型开发环境上，Qwen3.8-27B经此训练后在留出任务上超过GPT-6-sol，即使后者上下文中带有300条真实实验记录，且数据生成成本低约33%。