ChuChu Xie

自动驾驶视觉语言模型的知识蒸馏此前对所有答案词元一视同仁，既稀释了与规划相关的语义，也会把教师自信但错误的说法传给学生。RSKD 先从标准答案中定位交通参与者、状态、空间关系等关键短语，再用冻结的句子编码器比较教师在这些短语上的预测与标准答案的语义一致性，据此让一致性高的位置更多接受教师分布监督、一致性低的位置更多接受标准答案监督。在 DrivingVQA、LingoQA 和 MapLMv2 上，RSKD 分别取得 16.60、0.672 和 81.82，在两个问答基准上优于所比较的 SFT、GKD 与 ToDi 学生基线，在 MapLMv2 上与 SFT 的 81.85 基本持平。

自动驾驶视觉语言模型的知识蒸馏此前对所有答案词元一视同仁，既稀释了与规划相关的语义，也会把教师自信但错误的说法传给学生。RSKD 先从标准答案中定位交通参与者、状态、空间关系等关键短语，再用冻结的句子编码器比较教师在这些短语上的预测与标准答案的语义一致性，据此让一致性高的位置更多接受教师分布监督、一致性低的位置更多接受标准答案监督。在 DrivingVQA、LingoQA 和 MapLMv2 上，RSKD 分别取得 16.60、0.672 和 81.82，在两个问答基准上优于所比较的 SFT、GKD 与 ToDi 学生基线，在 MapLMv2 上与 SFT 的 81.85 基本持平。