驾驶视觉语言模型蒸馏不再逐词对齐：先挑出关键短语，再按教师说法是否可信分配监督
核心概要
自动驾驶视觉语言模型的知识蒸馏此前对所有答案词元一视同仁，既稀释了与规划相关的语义，也会把教师自信但错误的说法传给学生。RSKD 先从标准答案中定位交通参与者、状态、空间关系等关键短语，再用冻结的句子编码器比较教师在这些短语上的预测与标准答案的语义一致性，据此让一致性高的位置更多接受教师分布监督、一致性低的位置更多接受标准答案监督。在 DrivingVQA、LingoQA 和 MapLMv2 上，RSKD 分别取得 16.60、0.672 和 81.82，在两个问答基准上优于所比较的 SFT、GKD 与 ToDi 学生基线，在 MapLMv2 上与 SFT 的 81.85 基本持平。
深度剖析
驾驶场景的多模态大模型蒸馏不再把答案里每个词元同等对待，而是先找出对驾驶推理真正关键的短语，再决定教师在这些位置上的说法值不值得学。 此前的蒸馏按词元统一匹配教师分布，或依据教师与学生差异、词元学习难度调整监督，并不判断这些词元是否承载任务关键的驾驶语义。 在 DrivingVQA 与 LingoQA 上，RSKD 分别达到 16.60 和 0.672，高于 SFT 的 14.06 和 0.631、GKD 的 16.34 和 0.640、ToDi 的 16.35 和 0.649；在 MapLMv2 上 RSKD 为 81.82，SFT 为 81.85。
关键短语由教师模型从标准答案中标注出来，而不是让教师重新生成答案；随后用冻结的句子编码器给教师预测与标准答案短语的语义相似度打分。 这个短语级一致性分数被广播到对齐的词元上，同时反向调节两路监督：一致性高的关键词元加强 JSD 蒸馏，一致性低的关键词元加强标准答案监督。 学生为 Qwen3-VL-4B-Instruct，教师为基于 Qwen3-VL-30B-A3B-Instruct 内部微调的 XEmbodied，学生用 LoRA 适配语言模型线性层，三个基准共用同一训练混合，每个配置用随机种子重复并报告均值。
消融在统一的缩减训练预算下比较各组件，去掉标准答案分支的路由带来的下降最大。 把关键短语换成随机答案片段时分数从 0.480 降到 0.474，去掉一致性估计得到 0.475，说明仅靠语义重要性不够。 消融全部在同一个 50% LingoQA 子集上进行，只在该设定内比较；去掉 SFT 路由后分数降到 0.468。
启示与展望
已展示的范围是单个教师—学生组合在 DrivingVQA、LingoQA 和 MapLMv2 三个驾驶问答基准上的评测，训练混合与超参数均在验证划分上选定；更广的验证被留作后续工作。
语义一致性估计依赖教师短语抽取和冻结的 MiniLM 编码器，路由对抽取与嵌入错误敏感；固定的相似度阈值和基于规则的矛盾检测在响应风格不同的数据集上可能需要重新校准；评测目前只覆盖一对教师—学生组合。