智能体强化学习不再只给整条轨迹打分：ORSD用自生成评分细则，把信用分到每个词元
在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。
掩码扩散模型在预算内提前锁定答案：HiLo-RD 用大窗口轨迹自蒸馏，GSM8K 准确率升 9.4 个百分点
掩码扩散语言模型在小响应窗口下会在推理尚未完成时先固定答案片段，这一提前承诺随后成为后续预测的上下文。HiLo-RD 让同一模型的大窗口轨迹充当冻结教师，把其隐藏表示对齐到裁剪后的小窗口视图，在已提交位置上做表示蒸馏。在相同小推理预算下，GSM8K 准确率从 68.84% 升到 78.24%，平均可读长度从 362.8 降到 271.3 个 token，增益还延伸到未做代码域训练的代码生成。
电极布局各不相同的颅内脑电也能跨患者查癫痫：MOSAIC 用自蒸馏稳住通道连接图
颅内脑电的电极数量和位置因患者而异，固定拓扑的检测器在跨患者评估中难以泛化。MOSAIC 用共享卷积编码每个通道，再由单层通道注意力从编码特征推断加权通道邻接矩阵，不需要预设电极布局图；指数滑动平均自蒸馏把每个窗口的邻接拉向缓慢更新的患者级教师。在四个公开颅内脑电语料上，MOSAIC 在 SWEC-ETHZ 短期与长期语料上的 F2 均高于所列基线，短期比最强基线高 1.8 分，长期高 3.3 分。
多词预测的梯度里混着噪声：只保留自蒸馏项，1.2B模型零样本准确率反超单词预测
多词预测（MTP，让模型一次预测多个未来词元）已是语言模型预训练的常见组件，但标准MTP的交叉熵梯度里混有一项低信噪比的残差，随规模增大而更嘈杂。Soft-MTP把这一残差从梯度中剔除，只回传其中隐含的KL自蒸馏信号，做法是复用已有的交叉熵梯度、不额外生成词表大小的logit矩阵，代码改动仅一行。在167M到1.2B参数的LLaMA式模型上，Soft-MTP在每个规模都优于标准MTP：下一词困惑度更低、自推测解码更快、零样本准确率更高；从689M起多词困惑度也更低，1.2B微调后数学与代码推理更强。
自蒸馏的推理增益经不起换题：代码题上只在训练过的题目里有效，梯度方向还常与策略梯度相反
两项自蒸馏方法在代码、科学推理、工具使用和数学任务上的增益，换到没见过的题目就消失或转为下降，数学上的提升主要来自把思考模式搬进非思考模式，而不是用了参考答案这类特权信息。
智能体不再等外部教师出题：ClawLoop 让它在同一沙箱里自出题、自诊断、自训练
ClawLoop 把任务合成、训练与失败诊断串成闭环，让基于 harness 的智能体无需外部教师模型即可自我改进，在 SkillsBench、Claw-Eval-Live 与 ClawGym-Bench 上均优于单次合成的 ClawGym。
UltraWorld 用未追踪临床超声视频自蒸馏出可交互世界模型，在九个仿真闭环规划回合中把终点距离与朝向误差较视觉伺服降低 29% 与 38%
UltraWorld 提出一种自蒸馏方案：先把临床超声视频适配成以参考图像和解剖掩膜为条件的超声生成器，再用三维解剖沿可编程轨迹采样掩膜合成动作—视频对，将生成器蒸馏为仅凭局部观测与动作预测未来观测的世界模型，并引入把探头位姿与成像设置表示为逐像素三维采样位置、声束方向与深度的 Acoustic Sampling Map；实验显示预测保真度与动作跟随改善，在九个仿真闭环局部规划回合中终点距离与朝向误差较视觉伺服分别降低 29% 与 38%。
研究者提出数学基元概念与四维基准，诊断出发现能力是LLM数学推理的主要瓶颈，并用基元优先自蒸馏框架提升推理表现
该工作提出“数学基元”概念与一个从发现、生成、消化、执行四个维度评估数学推理的基准，系统诊断显示解题准确率会掩盖不同的能力画像、基元能释放大量潜在执行能力、发现是数学推理的主要瓶颈，且受发现限制的失败更易修复；据此提出基元优先的自蒸馏框架，将基元引导的推理选择性迁移到学生模型，在多种模型规模和挑战性基准上稳定优于基线。
前向KL被证明会把学生模型熵抬到教师之上，蒸馏中的散度因此充当隐式熵正则器
该工作从熵的视角研究知识蒸馏，证明前向KL会使学生模型熵高于教师模型，而交叉熵训练作为其特例给出一个可在预训练与监督微调中定量验证的恒等式；反向KL则压低熵直至学生与教师差距过大，两者之间插值在训练早期平滑改变熵、在收敛时突变；在线蒸馏的低熵来自词元级反向KL而非在线采样，散度因此充当隐式熵正则器，在自蒸馏中通过补偿特权信息条件化带来的熵收缩而体现其作用。
Pivot-SD 只监督去噪中的高影响承诺，用 200 个问题让 LLaDA-8B-Instruct 在数学与代码基准上超过全序列 SFT 和同等预算的扩散 RL 基线
该工作提出 Pivot-SD，一种离线自蒸馏框架，用信息增益度量挑选去噪过程中能大幅降低其余掩码位置不确定性的高影响承诺（pivots），对成功轨迹的 pivots 用交叉熵训练、对失败轨迹的 pivots 用定向 unlikelihood 训练而保持失败轨迹其余部分不变，仅用 200 个问题和每条四次 rollout，就在数学与代码基准上使 LLaDA-8B-Instruct 优于全序列 SFT 和预算匹配的扩散 RL 基线。