掩码扩散模型在预算内提前锁定答案：HiLo-RD 用大窗口轨迹自蒸馏，GSM8K 准确率升 9.4 个百分点
掩码扩散语言模型在小响应窗口下会在推理尚未完成时先固定答案片段，这一提前承诺随后成为后续预测的上下文。HiLo-RD 让同一模型的大窗口轨迹充当冻结教师，把其隐藏表示对齐到裁剪后的小窗口视图，在已提交位置上做表示蒸馏。在相同小推理预算下，GSM8K 准确率从 68.84% 升到 78.24%，平均可读长度从 362.8 降到 271.3 个 token，增益还延伸到未做代码域训练的代码生成。