# 注意力路由

该研究在冻结的 SmolLM3-3B-Base 与 Qwen3.5-4B-Base 上，用成对的末层注意力启用/旁路执行产生带符号的下一词损失差，检验隐藏态外推误差、曲率和误差变化能否在不确定性、一步位移、位置与状态投影之外改进注意力路由；在 PG-19 的 100 本留出书籍、固定 20% 因果调用配额下，六项预注册比较经 Holm 校正后均无正向增益，Qwen3.5 中参数匹配的固定投影对照反而比轨迹路由器降低 NLL 0.00356 nats/token。

该研究在冻结的 SmolLM3-3B-Base 与 Qwen3.5-4B-Base 上，用成对的末层注意力启用/旁路执行产生带符号的下一词损失差，检验隐藏态外推误差、曲率和误差变化能否在不确定性、一步位移、位置与状态投影之外改进注意力路由；在 PG-19 的 100 本留出书籍、固定 20% 因果调用配额下，六项预注册比较经 Holm 校正后均无正向增益，Qwen3.5 中参数匹配的固定投影对照反而比轨迹路由器降低 NLL 0.00356 nats/token。

该研究对拼接架构与原生多模态两类代表性多模态大模型进行三项递进分析（对齐解耦、注意力路由与熵、内在维度）并辅以因果干预验证，发现拼接模型遵循先文本后视觉的融合路径，而原生模型表现出更早的视觉-文本共适应与特征空间重组，为多模态融合提供机制性视角并支持架构感知的表征诊断。

该研究对拼接架构与原生多模态两类代表性多模态大模型进行三项递进分析（对齐解耦、注意力路由与熵、内在维度）并辅以因果干预验证，发现拼接模型遵循先文本后视觉的融合路径，而原生模型表现出更早的视觉-文本共适应与特征空间重组，为多模态融合提供机制性视角并支持架构感知的表征诊断。

该研究用激活修补在横跨八个LLM家族的二十五个模型上识别出VQ分词视觉语言模型共有的早期层（L0）注意力路由回路，提出三门槛诊断区分出十个携带该回路的模型并排除其余十五个，通过单变量架构替换（LLaVA-1.6 CLIP+MLP→VQ+Linear）证明向量量化是该病理性信号的来源，并显示只有L0消融能在开放生成中降低物体幻觉（CHAIR_i相对下降31%），而调优后的DoLA与VCD无此效果。

该研究用激活修补在横跨八个LLM家族的二十五个模型上识别出VQ分词视觉语言模型共有的早期层（L0）注意力路由回路，提出三门槛诊断区分出十个携带该回路的模型并排除其余十五个，通过单变量架构替换（LLaVA-1.6 CLIP+MLP→VQ+Linear）证明向量量化是该病理性信号的来源，并显示只有L0消融能在开放生成中降低物体幻觉（CHAIR_i相对下降31%），而调优后的DoLA与VCD无此效果。