投机解码不再按位置挑层:熵与CKA选出层组合,Qwen3上平均接受token提高约0.085
投机解码的草稿模型该看哪几层隐藏状态,现在可以按信息量和冗余度来选,而不是沿用固定的位置规则;在Qwen3-4B-Instruct上,选出的三层组合平均接受token比EAGLE3默认规则高约0.085。
投机解码的草稿模型该看哪几层隐藏状态,现在可以按信息量和冗余度来选,而不是沿用固定的位置规则;在Qwen3-4B-Instruct上,选出的三层组合平均接受token比EAGLE3默认规则高约0.085。
该工作提出融合MAE、JEPA与SimCLR三种自监督目标表示的框架,并设计共享主干加目标专用分支的多分支架构,在约25000个频谱图与CSI样本上预训练后,于通信、感知与定位六个下游任务中,等输出维度下融合在全部六项任务上优于所评估的单目标编码器且参数约为其三分之一,多分支架构在单编码器参数预算内保留了大部分融合收益,表示分析显示各目标贡献互补且增益多保留在与MAE表示子空间正交的分量中。
已读完全部报道