内部蒸馏不再训练投影矩阵：RAPID用随机投影省下最多21.1%的可训练参数
核心概要
内部蒸馏要把教师模型的中间激活对齐到学生模型更小的表示空间，以往靠额外训练投影矩阵完成，这些参数训练完即被丢弃。RAPID改用基于Johnson-Lindenstrauss引理的固定随机投影压缩教师表示，并以指数滑动平均结合同方差不确定性加权来平衡多个损失。在Gemma 3与Qwen 2.5的推理后训练中，其四项基准平均分与学习式投影基本持平，整体平均差异不超过0.15个百分点，同时可训练参数在Qwen实验减少8.1%、在蒸馏全部激活时减少21.1%。
深度剖析
内部蒸馏不再需要为教师与学生表示空间之间的维度差训练投影矩阵，教师激活改由固定的随机投影直接压到学生维度。 此前的内部蒸馏方法为每个被蒸馏的激活学习一个投影矩阵，把学生激活向上映射到教师空间，这些参数在训练结束后即被丢弃。 在Gemma 3 4B到Gemma 3 270M、Qwen 2.5 3B到Qwen 2.5 0.5B两组同族蒸馏对上，RAPID与学习式投影在ARC-C、BBH、GPQA、MMLU四项基准上的总体平均差异不超过0.15个百分点，单项最大差为SmolTalk数据上BBH的+1.05个百分点，RAPID更高。
投影固定之后，缩小表示差距的责任全部落在学生模型身上，教师一侧只提供一个不随训练变化的目标。 学习式投影与学生联合训练时，投影器既能改变残差也能改变残差传到学生的方式，对齐可能部分停留在训练后即被丢弃的投影器里。 实验在40M token的推理数据上做后训练，序列长度1024，使用为推理整理的SmolTalk与未修改的OpenThoughts-114k两个数据集，每个模型跑三个随机种子并取平均。
多目标损失把语言建模、输出分布散度和内部激活匹配三项按动态权重合成，权重由可学习的同方差不确定性与指数滑动平均进度比共同决定。 内部蒸馏的三个损失量级差异大且信号带噪，固定等权难以在训练不同阶段侧重不同目标。 权重在上下界内归一化并截断，计算权重的中间量不参与梯度回传；蒸馏全部激活时使用18层乘3个激活再加1个嵌入投影，共55个投影器。
启示与展望
演示范围限于Gemma 3与Qwen 2.5两个模型族的同族蒸馏，且只做推理导向的监督微调后训练，序列长度1024、训练数据40M token；全部实验在单台配两块RTX A6000 48GB的服务器上完成。
作者说明算力限制了模型规模、序列长度与教师微调，因而未能做完整的R1式长上下文推理蒸馏与评测；RAPID也只在推理导向的监督微调中评估，未涉及预训练、中期训练、通用指令微调、工具使用训练，或作为后续强化学习等后训练阶段的初始化。蒸馏全部激活时，Qwen 2.5上RAPID的平均分比学习式投影低2.2个百分点；同一处文字又称全部实验中最大差距为学习式投影领先1.67个百分点，两处数字不一致，此处按原文并列保留。