Qiangqiang He

该工作指出在线蒸馏（OPD）所用的教师—学生逐词差异中混入了教师自身的上下文诱导漂移（Teacher Self-Deviation, TSD），并提出 Cal-OPD：用正负特权干预估计教师的自我漂移区间，只保留超出该区间的残差作为优化信号，在数学推理基准上仅保留约 52–65% 的原始差异却稳定优于标准 OPD 及其多种变体。

该工作指出在线蒸馏（OPD）所用的教师—学生逐词差异中混入了教师自身的上下文诱导漂移（Teacher Self-Deviation, TSD），并提出 Cal-OPD：用正负特权干预估计教师的自我漂移区间，只保留超出该区间的残差作为优化信号，在数学推理基准上仅保留约 52–65% 的原始差异却稳定优于标准 OPD 及其多种变体。