组合图像检索不再一步压成单向量：FactEmbed先拆解修改意图，再对候选重排
核心概要
组合图像检索要按“参考图加一句修改文字”找回目标图，常见做法是把多模态查询直接压成一个检索向量，模型没有显式机会先想清楚文字改了什么。FactEmbed在Qwen2.5-VL-7B的输入中插入一组可学习的因子化潜变量，用重建目标图细节的“目标想象”目标让它们各自对应目标中的语义区域，再用因子级对比损失和注意力蒸馏把这些分解带入检索。在精化后的CIRR与FashionIQ基准上，其Recall@1与平均Recall@10均高于CSMCIR与ReCALL，但正文所述提升幅度与表格数值不一致。
深度剖析
组合图像检索的查询理解与判别性嵌入被拆成两步：模型先在内部模拟文字要求的视觉修改，再据此形成用于检索的表示。 此前的MLLM方法只用对比监督把多模态查询直接映射到单个嵌入，没有显式解析文字要改哪些视觉属性。 在精化后的CIRR上，FactEmbed的Recall@1为68.99，高于额外使用图库图像合成描述的CSMCIR的67.16，也高于ReCALL的67.41；正文另称相对两者分别提升2.7%和2.3%，与表格数值不一致。
分解由一组可学习潜变量承担，它们被插在[EOS]之前，作为信息瓶颈把融合后的多模态输入拆成因子。 这些潜变量不靠显式推理链或稠密标注获得结构，而是通过重建目标图块特征来学习分工。 解码器接在28层MLLM的中间层，以平均池化到低分辨率的粗布局为先验，潜变量只需补出先验解释不了的细节；去掉该先验时潜变量会塌缩成少数粗区域。
检索阶段同时使用两级对比目标，并把解码器的空间分解蒸馏进MLLM更深层的注意力。 仅做重建只能让潜变量适合生成，不能保证查询与目标落在可比较的坐标空间。 因子级InfoNCE通过最优传输匹配查询与目标的因子集合，实例级损失优化[EOS]全局嵌入；推理时[EOS]先召回，均值池化的潜变量只对前100个候选重排，在CIRR验证集上批大小为1时每查询增加0.17毫秒。
启示与展望
评测覆盖精化后的CIRR与FashionIQ两个组合图像检索基准，并附带原始CIRR与FashionIQ结果；方法以Qwen2.5-VL-7B-Instruct为默认骨干，另在Qwen3-VL-8B与Qwen3-VL-Embedding-8B上验证。读者对象是从事多模态检索与嵌入学习的研究人员和工程师。
正文所述相对CSMCIR与ReCALL的提升幅度与表格数值不一致，引用具体增益时应以表格为准或直接报告表格数值。潜变量数量固定，没有显式监督指明语义因子应有几个；完整因子匹配精度更高，但推理时改用均值池化重排，放弃了一部分细粒度信息；评测只覆盖CIRR与FashionIQ，作为统一多模态检索器的泛化性仍需验证。对比式描述增强在扩大难负样本数量时，同一查询的多个难负样本之间仍可能语义重叠。