# 虚拟编码器

Ogata与Nakashima研究当多模态语言模型不依赖专用感知编码器、而是直接把轻投影的图像块、音频帧或离散视觉token交给共享Transformer时，编码发生在何处，并通过线性探测、与感知编码器的相似性比较以及因果分析，发现Transformer会在自身早到中层内部化这一缺失的计算，构建出任务可用的感知表示，作者称之为“虚拟编码器”。

Ogata与Nakashima研究当多模态语言模型不依赖专用感知编码器、而是直接把轻投影的图像块、音频帧或离散视觉token交给共享Transformer时，编码发生在何处，并通过线性探测、与感知编码器的相似性比较以及因果分析，发现Transformer会在自身早到中层内部化这一缺失的计算，构建出任务可用的感知表示，作者称之为“虚拟编码器”。