跨层转码器（CLT）要把大模型各层激活拆成可解释特征，但每层重建难度差别很大，逐层TopK给每层固定激活数并不合适。字节跳动Seed等提出的Cross-Layer TopK把全部层的潜在特征放在一起排序，每个token只保留总量固定的K个，由模型自己决定各层分多少。在Qwen3-8B-Base上，它与逐层TopK同为每token 360个激活，验证集FVU从27.64%降到27.07%，并配合稀疏解码把训练步时间缩短到原来的约三分之一。
字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器（SAE，把层输出重建为一组稀疏可解释特征的字典），利用编码器对专家输出的仿射性，把每个特征的激活精确拆成各专家的贡献。按语料平均后，每个专家得到一组它主要驱动的特征；这些特征多数只有一到两个主导专家，且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。
该工作提出奖励加权传输蒸馏（RWTD），一种只需生成样本与标量奖励评估的一步生成器后训练方法，它把当前模型与参考模型各自的奖励倾斜分布混合成自适应目标，并用特征空间最优传输与不动点回归实现，在一步 SANA Sprint 1.6B 上把 GenEval 从 0.73 提升到 0.80，并在偏好对齐实验中表现出跨奖励泛化。
该工作提出并系统刻画了分块KV缓存压缩模型中的“相位敏感性”：同一信息在相对压缩窗口边界的不同相位上检索难度不同，DeepSeek-V4系列在128K上下文下相位间检索准确率差距最高达40.2个百分点，作者通过从零预训练23个压缩模型（Qwen3-0.6B骨干、100B token）复现该现象、用KV头与层级的均值替换消融揭示相位专门化、并用理想化归纳模型证明梯度流会驱动压缩门形成静态偏好，从而说明平均基准分数会掩盖周期性的位置性失败。
该工作研究大语言模型全流程FP8强化学习的训练稳定性，指出复合FP8量化噪声会扭曲重要性比值、使负优势token被过度下裁剪而梯度被错误置零，并提出Calibrated Clipping通过匹配BF16参考的下裁剪分位数并重新平衡上界来动态校准裁剪边界，在GRPO与DAPO、8B至32B模型和多种FP8缩放粒度上消除熵激增、恢复接近BF16的性能，同时训练吞吐最高可达BF16的1.5倍。
上海交通大学与字节跳动 Seed 的研究者提出 PISA，一种用金字塔式由粗到细 Top-K 选择加 LogSumExp 打分、并配 Triton 核的块稀疏注意力机制，把块选择复杂度从 O(N²/C) 降到 O(N log N)，在 418M、1.47B、2.67B 三个规模上与 BSA、NSA、HiLS 在语言建模和常识推理上表现相当，在六项检索任务上取得稀疏方法中最高平均准确率，并在 64K、128K、256K 序列长度上分别比 BSA 的块选择快 2.86 倍、5.31 倍、9.95 倍。
已读完全部报道