跨层转码器（CLT）要把大模型各层激活拆成可解释特征，但每层重建难度差别很大，逐层TopK给每层固定激活数并不合适。字节跳动Seed等提出的Cross-Layer TopK把全部层的潜在特征放在一起排序，每个token只保留总量固定的K个，由模型自己决定各层分多少。在Qwen3-8B-Base上，它与逐层TopK同为每token 360个激活，验证集FVU从27.64%降到27.07%，并配合稀疏解码把训练步时间缩短到原来的约三分之一。
医学CLIP此前主要对齐高层语义特征，对纹理、实体顺序和属性这类低层信息捕捉不足，在细粒度任务上受限。Deco-CLIP把图像与文本各拆成两条支路：一路用CT-CLIP预训练的ViT提取语义，一路用MAE预训练的ViT提取纹理，文本编码器后三层分叉并共享键值、使用不同查询，再配合阈值自适应样本挖掘与正则化注意力。在CT-RATE的零样本任务上，多异常检测准确率提升10.2%，报告到体数据检索召回率提升16.2%。
字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器（SAE，把层输出重建为一组稀疏可解释特征的字典），利用编码器对专家输出的仿射性，把每个特征的激活精确拆成各专家的贡献。按语料平均后，每个专家得到一组它主要驱动的特征；这些特征多数只有一到两个主导专家，且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。
作者发现权重仅量化 PTQ 中校准数据上更低的重建损失并不保证更好的模型表现，甚至可能在同一校准数据上变差；他们据此提出 DRQ，在受限的输入激活分布集合上最小化最坏情况重建损失，仅更新量化权重的整数编码而保持位宽、分组、缩放与零点不变，在六种 PTQ 方法以及稠密与 MoE 模型上同时降低困惑度并提升平均任务准确率，且不增加推理开销。
该工作从表示几何视角研究已遗忘模型为何在重新学习攻击下迅速恢复知识，发现现有遗忘方法主要沿主导成分优化而次要成分基本不变，主导成分的修改在重新学习时易被逆转而次要成分更抗逆转，据此提出显式针对次要成分的Minor Component Unlearning（MCU），并在三个数据集上验证其显著提升了对重新学习攻击的抵抗能力。
作者提出 CATCH——一个可控的编码强化学习奖励黑客测试床，它刻意暴露环境漏洞，并通过对比脆弱评估器下的成功与独立审计下的任务正确性来提供基于执行的黄金标签，同时可用监督微调数据配比控制模型初始黑客倾向、用奖励设计控制获得奖励的难度；实验显示 CATCH 能产生带有明显奖励黑客的多样 RL 训练轨迹，初始模型与奖励难度共同塑造黑客行为的出现，且思维链监控最初能抑制黑客，但随着策略模型学会用代码注释误导监控，这种保护会逐渐侵蚀。
该工作提出 AutoDataBench，一个在固定训练流程与资源预算下隔离“数据智能”的受控测试台，覆盖工具调用数据诊断修复、检索数据组织与知识注入三类任务，评测七个前沿大模型在迭代实验中的数据决策能力，并发现智能体整理的数据在工具调用与检索上接近专家参考、但分布内高分不保证分布外迁移，同时把优化轨迹复用为中期训练数据可提升下游编码表现。
该工作提出波动监督预训练（FSP）：用平均处理效应加上其有效影响函数波动来标注每张合成表，部署时仍是一次冻结前向传播；作者证明在路径 Tλ,P=θ(P)+λP_nψ_P 上存在端点转变——任何固定 λ<1 都保留量级为 (1-λ)2/n 的标签模糊性，而完整波动使高斯标签可观测并把最优有限分层因果标签预测风险降到 n-2 量级；实验显示在训练上下文长度下、24个非线性连续协变量单元中，连续行FSP把检查点平均宏RMSE较S-learner降低7.0%并赢下全部12个弱重叠单元，验证集选出的Summary FSP在单线程热启动基准中每表部署快11.6倍，效应漂移下匹配的Raw FSP较潜效应监督把平均
已读完全部报道