# 注意力汇聚

在FLUX.1、Z-Image与Infinity-2B三类文生图Transformer上，注意力汇的位置随架构而变：自回归模型把注意力压在首个全局token上，双向扩散模型则集中在模态边界、文本区域和图像角落。

在FLUX.1、Z-Image与Infinity-2B三类文生图Transformer上，注意力汇的位置随架构而变：自回归模型把注意力压在首个全局token上，双向扩散模型则集中在模态边界、文本区域和图像角落。

该工作重新审视视觉语言模型解码器中的视觉注意力汇，发现早期与末层解码器在不同提示下反复把注意力集中到同一批图像区域（称为提示无关汇 PIS），而中间层才随查询变化并承担视觉-语言对齐；据此提出免训练的 SAGE，用来自 CLIP、ViT、DINOv3 等标准视觉骨干的 token 对齐 ROI 掩码对视觉 token 注意力 logits 施加加性偏置，把注意力从 PIS 引向查询相关区域，在 LLaVA-1.5、Qwen2-VL、InternVL3、NVILA 等模型上改善视觉定位、降低幻觉并在多项公开基准上取得增益。

该工作重新审视视觉语言模型解码器中的视觉注意力汇，发现早期与末层解码器在不同提示下反复把注意力集中到同一批图像区域（称为提示无关汇 PIS），而中间层才随查询变化并承担视觉-语言对齐；据此提出免训练的 SAGE，用来自 CLIP、ViT、DINOv3 等标准视觉骨干的 token 对齐 ROI 掩码对视觉 token 注意力 logits 施加加性偏置，把注意力从 PIS 引向查询相关区域，在 LLaVA-1.5、Qwen2-VL、InternVL3、NVILA 等模型上改善视觉定位、降低幻觉并在多项公开基准上取得增益。