arXiv来源发表:
视觉语言动作模型去掉视觉编码器：NEO-VLA让动作信号在中间层就接上
核心概要
NEO-VLA把视觉语言动作模型里的固定视觉编码器去掉，图像经轻量卷积层切块后与语言在主干中一起演化，动作专家从不同深度的指令条件视觉表示中取用信息。受控比较中这类原生结构优于带编码器的对照，全量微调缩小差距但没有消除，单纯加大规模也补不回来；逐层探测显示对动作关键的信号常在最终视觉表示之前就达到峰值。
深度剖析
视觉语言动作模型不再先把感知压成一个固定视觉端点再开始动作推理，NEO-VLA让图像表示在主干中与语言一起演化，动作专家可以按需从不同深度取用。 此前的做法是先由视觉编码器压缩感知，动作推理在其输出之后才开始。 受控比较中，原生结构优于带编码器的对照；全量微调缩小差距但没有消除，额外增加规模也无法弥补。
图像先由轻量 patch 卷积层切成 token，随后与语言一起穿过主干，一个 flow-matching 动作专家从不同深度的指令条件视觉表示中读取信息。 flow-matching 动作专家在这里的取数对象是分层、随计算演化的视觉表示，而不是单一编码器输出。 逐层探测显示，对动作关键的信号常在最终视觉表示之前就达到峰值。
在多种操作场景和分布偏移下，NEO-VLA给出更强也更稳健的控制。 这一表现与“动作策略应继承固定视觉端点”的默认前提形成对照。 结果覆盖多种操作设置与分布偏移，支持的是跨计算层级取用视觉表示这一方向。
启示与展望
报道依据的是摘要级材料，覆盖受控比较、全量微调对照、逐层探测，以及多种操作设置和分布偏移下的控制表现；具体任务、数据集与指标数值未在材料中给出。
材料称全量微调缩小但未消除原生结构与编码器结构之间的差距，额外规模也无法弥补；逐层探测显示动作关键信号常在最终视觉表示之前达到峰值，但材料未说明这一峰值位置在不同任务间是否稳定。