# LT-OPD

该工作提出 LT-OPD，让只保留 5% 视觉 token 的学生模型在自己的生成轨迹上接受冻结全 token 自身教师的分布监督，并配合逐步降低 token 预算的课程，在 Qwen3.5-4B 九个基准上把平均保留性能从 68.6% 提升到 82.3%，同时把 KV 缓存降低 85.2%、prefill FLOPs 降低 85.4%，且不增加推理开销。

该工作提出 LT-OPD，让只保留 5% 视觉 token 的学生模型在自己的生成轨迹上接受冻结全 token 自身教师的分布监督，并配合逐步降低 token 预算的课程，在 Qwen3.5-4B 九个基准上把平均保留性能从 68.6% 提升到 82.3%，同时把 KV 缓存降低 85.2%、prefill FLOPs 降低 85.4%，且不增加推理开销。