视觉语言动作模型去掉视觉编码器:NEO-VLA让动作信号在中间层就接上
NEO-VLA把视觉语言动作模型里的固定视觉编码器去掉,图像经轻量卷积层切块后与语言在主干中一起演化,动作专家从不同深度的指令条件视觉表示中取用信息。受控比较中这类原生结构优于带编码器的对照,全量微调缩小差距但没有消除,单纯加大规模也补不回来;逐层探测显示对动作关键的信号常在最终视觉表示之前就达到峰值。
NEO-VLA把视觉语言动作模型里的固定视觉编码器去掉,图像经轻量卷积层切块后与语言在主干中一起演化,动作专家从不同深度的指令条件视觉表示中取用信息。受控比较中这类原生结构优于带编码器的对照,全量微调缩小差距但没有消除,单纯加大规模也补不回来;逐层探测显示对动作关键的信号常在最终视觉表示之前就达到峰值。
已读完全部报道