掩码扩散语言模型在小响应窗口下会在推理尚未完成时先固定答案片段，这一提前承诺随后成为后续预测的上下文。HiLo-RD 让同一模型的大窗口轨迹充当冻结教师，把其隐藏表示对齐到裁剪后的小窗口视图，在已提交位置上做表示蒸馏。在相同小推理预算下，GSM8K 准确率从 68.84% 升到 78.24%，平均可读长度从 362.8 降到 271.3 个 token，增益还延伸到未做代码域训练的代码生成。
内部蒸馏要把教师模型的中间激活对齐到学生模型更小的表示空间，以往靠额外训练投影矩阵完成，这些参数训练完即被丢弃。RAPID改用基于Johnson-Lindenstrauss引理的固定随机投影压缩教师表示，并以指数滑动平均结合同方差不确定性加权来平衡多个损失。在Gemma 3与Qwen 2.5的推理后训练中，其四项基准平均分与学习式投影基本持平，整体平均差异不超过0.15个百分点，同时可训练参数在Qwen实验减少8.1%、在蒸馏全部激活时减少21.1%。
卡内基梅隆大学团队发布 B-REAL，一个跳过姿态估计、直接把原始视频映射为行为标签的监督分类平台，端到端推理延迟低于15毫秒，可在 CPU 或 GPU 上跟上视频采集速度。在 CalMS21 小鼠社交行为基准上，仅用1分钟标注数据即超过 A-SOiD 与 CBAS 用完整数据集训练的结果；在果蝇攻击行为中，从1分钟标注起在全部8次配对抽样上优于两种基线。闭环实验中，按 B-REAL 检测到的理毛发放奖励，使小鼠理毛回合率在训练后期比早期提高129%。
该工作提出 RIDE（RL-Induced Direction Extrapolation）：在学生自采样轨迹上，逐层计算 RL 教师与其 RL 前检查点之间的隐藏状态残差，把学生的表示回归目标沿该残差外推到教师之外，在四个基座/RL 教师对（R1-Distill-1.5B、Qwen3-4B、Llama-3.2-3B、Phi-4-mini）上于 AIME24、AIME25、AIMO 的 Avg@16 均值均接近或超过 RL 教师，是唯一均值做到这一点的对比方法，并一致优于输出空间外推。
已读完全部报道