离线强化学习可验证奖励训练通常对固定采样池中每条回答的每个token都施加监督，但回答与token的信息量并不相同。GIST把策略与KL正则化RLVR的Gibbs最优目标之间的双向KL失配拆成前向与反向两项，据此在回答层用采样温度配对正确与错误样本，在token层只监督正确回答的低概率token和错误回答的高概率token。在Qwen3-0.6B/GSM8K的同候选池对照中，它监督的token比训练全部候选少66.6%，严格准确率45.79、灵活准确率49.73，均高于七个选择基线。
长上下文解码的瓶颈在反复读取不断增长的KV缓存，稀疏注意力只取其中一部分位置，但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分，并配一个免gather的索引注意力内核，让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上，它离全量KV精度最近；在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。
循环记忆模型把历史压进固定数量的记忆槽，以往每个词都写入同样多的槽，把“该不该存”和“存几个槽”混成一个决定。Factorized Write Routing 把写入拆成两步：先由学习到的门判断当前词是否写入，再由槽路由器决定更新固定数量还是自适应数量的槽，查询时仍读取全部槽。在两种合成长上下文任务、十个随机种子上，四槽写入时出现随信息密度反转的结果：高密度 Feature Recall 上始终写入的长期准确率为0.472，高于学习门控的0.337；稀疏事实 Passkey 上学习门控为0.222，高于始终写入的0.048。
多视角3D视觉语言模型把场景拆成32个视角后会产生六千多个视觉token，推理开销很大。GeoGR分两级压缩：投影端把跨视角观测合并成体素token，并按语义显著性与空间覆盖挑选，未选中的体素特征并入上下文锚点；LLM端只在中间层窗口内计算视觉token，低相关token可跳过整层但保留隐状态，到锚点层重新评分并可回归。在LLaVA-OneVision-7B与Video-3D LLM-7B上，它分别保留稠密模型95.2%和96.8%的性能，LLM预填充与首token时延明显加快。
该研究在不重训模型的前提下，在每个头、层和查询处只保留注意力权重最高的若干token并保持其原始权重不变，通过测量负对数似然（NLL）的上升来估计维持给定损失容差所需的“有效注意力集合大小”，发现较小的集合即可让NLL接近全注意力基线、基于注意力的选择明显优于随机选择、所需集合大小随上下文延长而增大但其占上下文的比例下降，并且在固定标注支持事实的BABILong实验中，额外背景会把支持token挤下注意力排名并降低其注意力质量，而对保留权重做重归一化可大幅减小所需集合大小。
该工作把在线策略蒸馏（OPD）中的token选择问题重新表述为固定前缀下的梯度估计可靠性问题，在信息几何下把单样本反向KL梯度分解为信号与采样噪声，提出信息效率比（IER）作为最优标量基线下的信噪比，并用top-K候选集近似来排序token；在数学与医学推理任务上，IER单独作为选择器在0.1%–1%的极小token预算下接近或超过全量OPD，与已有有用性分数结合后（IER-OR、IER-AND）在多个设置下匹配甚至超过全量OPD。
已读完全部报道