小米4B多模态模型把掩码监督送进主干：指代理解八项切分平均涨5.6分
核心概要
小米发布4B多模态模型Xiaomi-Lens-0，让掩码从模型自身的视觉表征中解码，而不是依赖额外的分割编码器。此前多模态模型的掩码监督多停在冻结的视觉编码器上，或只把掩码当作分割手段。该模型用语言模型生成的掩码令牌状态作为视觉潜变量，与视觉编码器的图块特征一起送入轻量解码器，使像素级监督回流到与语言生成共享的主干；在RefCOCO、RefCOCO+、RefCOCOg全部八个切分上，指代理解平均比Qwen3.5高5.6分，并在所有对比模型中取得最高的分割cIoU。
深度剖析
多模态大模型现在可以直接从自己用于语言生成的那套视觉特征里解出区域掩码，掩码损失因此能改到共享主干上，而不必另接一个分割编码器。 此前的做法分两类：LISA、Sa2VA依赖额外的分层分割编码器，Qwen3-VL-Seg融合辅助图像编码器的多尺度特征；PixelLM和MLLMSeg虽从自身视觉特征解码，却保持视觉编码器冻结，掩码损失到不了共享视觉特征。 在RefCOCO、RefCOCO+、RefCOCOg全部八个切分上，指代理解比Qwen3.5主干平均高5.6分，其中RefCOCO+平均增益最大，为7.6分；在八个RES切分上，分割cIoU均为对比模型中最高，平均81.4，而最强的Qwen3-VL-Seg为78.6。
模型在推理过程中可以一边写文字、一边为提到的区域生成掩码，使思维链里引用的中间区域也带上像素级监督。 以往掩码监督主要服务于最终分割目标，中间推理步骤引用的区域没有显式范围标注。 做法是取视觉编码器空间合并之前的图块网格，与语言模型在特殊掩码令牌处的上下文状态（视觉潜变量）一起送入轻量解码器；训练数据用带掩码标注的接地推理轨迹，把中间区域引用与掩码配对。消融显示，在仅接地的设定上加入这类轨迹后，三个验证切分的REC提高0.1至0.6分，RES提高0.5至0.8分。
启示与展望
报告评估了六类任务：指代理解、指代分割、多实例接地、推理分割、具身指代和细粒度感知，主模型结果取三个第二阶段检查点的等权平均。作者另建LensBench，覆盖通用、航拍、驾驶和全景四类图像，每个域300个完整评测单元，共1200个配对单元、4800条指令级样本，每条指令都经人工复核目标完整性与指令—掩码一致性。读者应把它看作一个4B规模模型在所述基准与自建基准上的表现，而非跨规模、跨主干的普遍结论。
隐式指令仍明显难于显式指令：在LensBench上，隐式指令的cIoU为54.7，比显式指令低16.7分，排名第五；全景图像中多目标的隐式选择尤其困难，Prec@0.5从显式的81.3降到48.7。通用图像上Qwen3.8-Max以74.2 cIoU领先，Xiaomi-Lens-0为63.9。多实例接地的领先来自严格阈值下更紧的框，而非召回更多实例。