分割提示不再只靠一个向量：改用[SEG]注意力图，Sa2VA在部件与多目标上提升十余gIoU
核心概要
语言引导分割通常把指代位置压缩进单个[SEG]隐状态向量交给解码器，而该向量没有空间索引，解码器又看不到原句。AttnSeg改为把[SEG]词元对图像块的注意力图作为解码器的稠密提示，并用注意力引导目标直接监督这张图，分两阶段训练。在Sa2VA上，4B模型ReasonSeg的gIoU由57.70升至64.11、GS-Eval由61.91升至72.11，增益集中在物体部件、多目标和单目标，stuff区域几乎不变。
深度剖析
语言引导分割的接口从单个[SEG]隐状态向量换成[SEG]词元在图像块网格上的注意力图，解码器因此拿到带空间索引的提示。 此前主流做法把指代位置压进一个没有空间索引的向量，解码器看不到指代表达式，只能自行猜测指代对象的粒度。 在冻结的Sa2VA-4B上，同一个U-Net探针读取注意力比读取隐状态在GS-Eval和ReasonSeg上分别多出若干gIoU；给探针补上RGB图像后隐状态提升而注意力不变。
注意力图经一个带符号权重的学习卷积把各注意力头合成一张图，直接进入解码器的稠密提示通道，不做阈值化或采样。 此前从注意力或相似度图出发的方法多采样稀疏点提示，或对图做阈值化，丢掉分级置信度。 训练后约一部分权重为负，正权重质量集中在最后三分之一的层，与探针测到的后层集中一致。
训练分两阶段：先在不接解码器的情况下用注意力引导目标训练VLM定位，再冻结VLM与合成权重、只训练解码器精修。 此前接口只通过解码器之后的掩码损失间接监督，解码器会尽可能多地把定位任务揽到自己身上。 在4B上，相对同数据同预算微调的基线，AttnSeg在ReasonSeg和GS-Eval上仍分别提升4.19和9.56 gIoU；注意力引导目标贡献了总增益的大部分。
启示与展望
演示范围是Sa2VA的InternVL2.5-4B与InternVL3-14B两个规模，在ReasonSeg测试集与GS-Eval上评测，训练使用Sa2VA发布的十三数据集混合，两个基准的训练数据都不在混合中。读者对象是从事指代分割与多模态定位的研究者与工程师。
增益在stuff区域上可忽略，在部件、多目标和单目标上明显；作者指出更强的解码器（SAM3替换SAM2）在ReasonSeg上略高于4B的AttnSeg，但在GS-Eval上更低。作者还说明，基准gIoU提升不构成模型能正确消解歧义或争议描述的证据，且读取注意力需要额外重算[SEG]行，结果与全程eager注意力并非逐位一致。