推理视觉语言模型的KV缓存压到约六分之一：TraceKV用在线策略校准保住推理准确率
推理视觉语言模型的KV缓存既要装下多模态输入，又要随推理链不断增长，现有低秩压缩按静态输入校准，生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹，并按各KV状态对策略散度的敏感度加权做SVD，再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上，70%秩比叠加4位量化时总体准确率73.41%，稠密模型为73.58%，KV缓存缩小5.64倍。
推理能力不必整段搬运：只留RL更新最强方向，Qwen视觉数学涨8.55分
把语言模型强化学习阶段的参数更新单独取出，只保留每个矩阵中最强的一个方向并按原幅度缩放，再注入视觉语言模型的语言模块，这种免训练迁移在三个模型家族、五个视觉推理基准的15组比较中有12组优于整段更新插值，Qwen接收方在MathVision上提升8.55个百分点。对照实验显示，仅匹配更新幅度或使用任意低秩方向都无法复现这一增益，说明后训练中获得的能力与可跨模型迁移的部分并不等同。
SVC 以奇异向量通道选择在四个 LLM 家族上同时提升持续学习性能与预训练能力保留
该工作把每个奇异值对应的左右奇异向量对定义为一个“奇异向量通道”，用当前任务梯度估计其适配收益、用无标注通用语料上的激活二阶矩估计其遗忘代价，再经膝点代价筛选、Pareto 前沿过滤与 Otsu 阈值自动选出可训练通道；在四个 LLM 家族、八个 TRACE 任务与三种任务顺序下，SVC 在保持预训练通用能力的同时取得较强的下游持续学习表现。
分层谱收缩（HSS）在合成实验与多研究基因表达数据上优于独立、完全合并与共享子空间估计
作者提出分层谱收缩（HSS），一种经验贝叶斯框架，将各任务的主导谱方向朝数据自适应学习的公共基收缩，收缩强度按任务与谱分量变化，估计量是替代贝叶斯回归中奇异向量的后验均值；在合成实验与三套免疫细胞基因表达数据（样本量156、628、146）中，HSS在估计精度与样本外表现上优于独立、完全合并与共享子空间方法。
Samsung Research 提出 Net Utility：按奇异方向分配 LoRA 合并秩预算，视觉任务平均提升 2.1%、语言任务提升 2.2%
该工作指出 LoRA 合并中“每层、每任务平均分配秩预算”的均匀假设是合并模型与单任务 LoRA 性能差距的主要来源，并提出免数据的 Net Utility 指标：对每个任务 LoRA 做 SVD 分解，按“对自身任务的贡献减去对其他任务的干扰”给每个奇异方向打分，再在总秩预算约束下全局挑选得分最高的方向；在 7 个视觉任务与 6 个语言任务上叠加于五种合并方法与三种合并空间，视觉平均提升 2.1%、语言平均提升 2.2%。
已读完全部报道