跳到主要内容
返回时间线
arXiv来源发表:

室内指代检索先看类别名:ScanRefer上R@10从0.626升到0.911,几何打分只在改写查询里翻盘

核心概要

在固定提示词预算下,把查询匹配到物体类别名比成对几何打分更能把目标放进上下文,ScanRefer上R@10从0.626升到0.911,但查询不含目标类别词时几何打分反超。

Source-provided article image: Token-Budgeted Candidate Retrieval for 3D Scene-Grounded VLMs: Category Names vs. Pairwise Geometry
Figure 2 · arXiv

深度剖析

在固定token预算的候选检索里,把查询与物体类别名做语义匹配,比按成对几何关系打分更能把目标物体排进前列。 此前的默认做法是查询无关的场景图,同一批边无论查询说的是空间布局还是只提类别名都会进入提示词;成对几何打分是另一条可选路径。 在ScanNet室内指代基准ScanRefer gt_val上,MiniLM的R@10为0.911、BGE-small为0.913,成对几何打分器QCRR为0.626,加性名词匹配为0.864;Nr3D上MiniLM R@10为0.941、QCRR为0.634。

几何打分并非无用,它在查询没有逐字写出目标类别时反超类别匹配。 在ScanRefer中8,660条逐字命中目标类别的查询上,Cue-only的R@10为0.756、QCRR为0.652;一旦进入改写目标桶,排序翻转。 在848条非逐字匹配查询上,QCRR的R@10为0.440、Cue-only为0.288,相差15.2个百分点;该表未报告MiniLM与BGE-small。

检索排名的差异会传导到下游定位精度,把目标放进序列化图比单纯提高召回更关键。 修正后的3DGraphLLM评测中,随机选择与查询无关近邻图的下游Acc@0.25分别为0.443和0.410,语义选择器更高。 在匹配物体预算下,MiniLM为0.673、名词基线为0.647、QCRR为0.557、完整图为0.670、oracle为0.697;GT在预算内的比例分别为0.96、0.94、0.82、1.00、1.00。

启示与展望

所有主表实验都在ScanNet衍生的室内指代基准上完成,物体用轴对齐包围盒表示,默认预算为若干关系与若干物体,与3DGraphLLM评测一致。端到端部分只评测一个已发布的3DGraphLLM检查点,未测量其他骨干网络。作者计划释放协议、检索器实现与逐查询输出,使新的选择器可以替换进来而不必重写分析。

轴对齐包围盒难以表示细长或可动部件,视角相关语言在固定世界坐标系下只被粗略处理。比较只涉及两个小型类别名编码器和一3DGraphLLM检查点,其他场景LLM骨干未测试。留一法描述上界使用同一实例的其他ScanRefer标注,部署时不可得。token比例度量依赖序列化模板,绝对值不能跨模板比较。CityRefer室外验证上各方法接近随机,因此未进入主表。