PRISM-Net把商品检索拆成线条与颜色两路：SwinV2上线条检索mAP@10提升5.74个百分点
核心概要
PRISM-Net把商品图像的整体特征拆成线条与颜色两条专家通路，用冻结的SigLIP文本提示以零样本方式监督两个路由器，再由按图像自适应的元路由器融合两路证据。在275,454张、18类电商图像的5折交叉验证与55,091条查询对220,363张图库的全量检索中，SwinV2骨干上线条检索mAP@10提升5.74个百分点，颜色专用配置的颜色检索mAP@10提升9.12个百分点；ConvNeXt-V2与DINOv3上产品检索与属性对齐之间存在取舍。
深度剖析
商品检索不再只依赖一个整体嵌入，而是把结构轮廓与色彩外观分派给两组专用专家，并保留一条全局类别通路。 卷积网络和视觉Transformer的整体特征会把背景光照或主色块与类别身份混在一起，查询金属工具常返回反光厨具，查询深红衣物常返回同类但颜色不符的商品。 在SwinV2骨干上，线条专用配置把线条检索mAP@10从56.53%提到62.27%，颜色专用配置把颜色检索mAP@10从26.06%提到35.18%；PRISM-Net自身的产品、线条、颜色检索mAP@10分别为83.42%、57.08%、31.43%。
线条通路由3个残差专家组成，颜色通路由10个残差专家组成，两个路由器各自输出独立的Sigmoid概率，因此一件商品可以同时具备多种色调或混合轮廓尺度。 常规混合专家路由主要靠下游任务损失和负载均衡项优化，专家分工既不保证线条与颜色分离，也可能退化成冗余的特征提取器。 冻结的SigLIP-base-patch16-224把3条线条提示和10条颜色提示转成软目标，以逐点二元交叉熵蒸馏给路由器，并用停止梯度把路由参数与分类梯度隔开。
元路由器根据每张图像估计一个0到1之间的门控系数，在线条特征与颜色特征之间做凸组合，再与全局基特征拼接成最终检索表示。 固定拼接或全局共享的专家系数无法反映不同品类对轮廓与外观的依赖差异。 在55,091张测试图像上，DINOv3给家电的线条权重是女装的6.89倍，服装类超过96%的权重落在颜色专家上，这一分配未使用人工属性标签。
启示与展望
演示范围是Amazon Products数据集清洗后保留的18个品类、275,454张高分辨率图像，采用5折交叉验证，其中一折55,091张作查询、其余220,363张作图库，并在SwinV2、ConvNeXt-V2、DINOv3三种骨干上评测。读者对象是关注多媒体检索表示学习的研究人员与工程人员。
增益依赖骨干与路由配置的匹配：SwinV2上提升明显，ConvNeXt-V2的PRISM-Net产品mAP@10比基线低0.83个百分点，DINOv3上完整模型也未超过基线的微平均与宏平均准确率。作者把DINOv3的现象称为师生容量倒置，即其原生像素级边缘锐度超过SigLIP三条提示的语言分辨率，并指出路由行为应结合品类外观与骨干归纳偏置来解读。摘要与检索结果表对SwinV2上PRISM-Net的产品与颜色mAP@10归属不一致，表中83.90%与35.18%属于颜色专用配置，PRISM-Net为83.42%与31.43%。