Ryan Swift

内部蒸馏要把教师模型的中间激活对齐到学生模型更小的表示空间，以往靠额外训练投影矩阵完成，这些参数训练完即被丢弃。RAPID改用基于Johnson-Lindenstrauss引理的固定随机投影压缩教师表示，并以指数滑动平均结合同方差不确定性加权来平衡多个损失。在Gemma 3与Qwen 2.5的推理后训练中，其四项基准平均分与学习式投影基本持平，整体平均差异不超过0.15个百分点，同时可训练参数在Qwen实验减少8.1%、在蒸馏全部激活时减少21.1%。

内部蒸馏要把教师模型的中间激活对齐到学生模型更小的表示空间，以往靠额外训练投影矩阵完成，这些参数训练完即被丢弃。RAPID改用基于Johnson-Lindenstrauss引理的固定随机投影压缩教师表示，并以指数滑动平均结合同方差不确定性加权来平衡多个损失。在Gemma 3与Qwen 2.5的推理后训练中，其四项基准平均分与学习式投影基本持平，整体平均差异不超过0.15个百分点，同时可训练参数在Qwen实验减少8.1%、在蒸馏全部激活时减少21.1%。