研究揭示多模态大模型两种融合路径：拼接架构先文本后视觉，原生架构早期视觉-文本共适应
相关研究与后续进展
核心概要
该研究对拼接架构与原生多模态两类代表性多模态大模型进行三项递进分析（对齐解耦、注意力路由与熵、内在维度）并辅以因果干预验证，发现拼接模型遵循先文本后视觉的融合路径，而原生模型表现出更早的视觉-文本共适应与特征空间重组，为多模态融合提供机制性视角并支持架构感知的表征诊断。
Figure 1: Cross-modal CKA similarity across layers. Family average represents the average values of different types of models. Shaded regions mark the early, transition, and late layer ranges. The model classification is described in EXPERIMENTAL SETUP 3.1 . Model-name colors distinguish concatenation from native architectures.
arXiv深度剖析
研究识别出两条不同的多模态融合路径：拼接架构模型遵循先文本、后视觉的路径，原生多模态架构模型则表现出更早的视觉-文本共适应与特征空间重组。 此前对多模态大模型内部跨层视觉与文本信息融合机制的理解不足，该工作以机制性视角刻画了两类架构在融合时序与特征空间组织上的差异。 基于对两类架构代表性模型的递进分析：对齐解耦识别模态变化，注意力路由与熵刻画跨模态信息分布，内在维度考察融合对特征空间的重塑；并以因果干预实验作为对所得解释的验证。
三项递进分析相互连接，分别回答哪个模态发生变化、跨模态信息如何分布、融合如何重塑特征空间。 将模态对齐、注意力分布与特征空间几何三个层面串联为一条分析链，而非孤立地考察单一指标。 摘要明确列出三项分析及其对应目标，并说明因果干预实验单独用于验证由此得到的解释。
作为补充分析，研究使用视觉CKA考察柏拉图表征假说。 将表征相似性度量引入多模态融合的机制讨论，作为主分析的补充视角。 摘要将其定位为补充分析，未给出该部分的具体数值或结论。
启示与展望
该工作面向多模态大模型内部融合机制的研究者与工程实践者，适用于对拼接架构与原生多模态架构进行架构感知的表征诊断。其分析框架以两类代表性架构为对象，结论适用于所考察的模型范围；因果干预实验用于验证由分析得到的解释，视觉CKA作为补充分析考察柏拉图表征假说。读者可据此在设计或诊断多模态模型时，按架构类型预期不同的融合时序与特征空间组织。
当前仅依据摘要，无法获知所考察的具体模型清单、数据集、样本规模与效应量，也无法判断因果干预实验的具体设计与视觉CKA分析的定量结果。三项分析之间的连接方式、内在维度的具体度量以及柏拉图表征假说的检验结论，均需查阅正文确认。此外，两条融合路径在不同模型规模、训练目标与任务上的稳定性，仍是值得关注的开放问题。