跳到主要内容
返回时间线
researchsquare.com来源发表:

单张手绘草图重建三维网格:保留局部笔画令牌,平均IoU从0.616升到0.628

核心概要

从一张手绘草图重建三维网格时,常见做法是把草图特征压成一个全局向量,细笔画和薄结构随之丢失。Locality-Preserving Sketch Token Fusion 改为同时保留全局形状表示和按空间排布的局部令牌,并让全局表示在解码时通过交叉注意力按需取用局部令牌。在 ShapeNet-Synthetic 上,真值视角设置下平均IoU由 SS2M 的0.616升到0.628;在真人手绘的 ShapeNet-Sketch 上,真值视角与预测视角设置下平均IoU分别为0.498和0.487。

Source-provided article image: Locality-Preserving Sketch Token Fusion for High-Fidelity Single-View 3D Reconstruction
Fig. 1 · researchsquare.com · 第 8 页

深度剖析

草图重建不再只靠一个压缩后的全局向量,网络在生成网格时还能回头查阅按空间位置排布的局部笔画令牌。 此前的草图重建方法多通过展平或池化把二维草图特征压成紧凑的全局隐表示,以捕捉形状与视角语义。 在 ShapeNet-Synthetic 上,真值视角设置下平均IoU为0.628,高于此前最优的 SS2M 的0.616;预测视角设置下为0.610。

做法是把草图特征分成两路:一路是描述整体形状与视角的全局隐表示,另一路是保留各区域笔画结构的局部令牌。 令牌变换块用多头自注意力和多层感知机在49个空间令牌之间建模长程关系,再用可学习门控的残差把变换结果与原始特征融合。 局部令牌交叉注意力模块以全局形状表示为查询、以局部令牌为键和值,取回的局部线索经残差相加后送入网格生成器,在13个 ShapeNet 类别的合成草图与真人手绘草图上评测。

启示与展望

评测覆盖 ShapeNet-Synthetic 合成草图与 ShapeNet-Sketch 的1300对真人手绘草图,共13个 ShapeNet 类别,网格由固定拓扑模板变形得到;ShapeNet-Sketch 只用于测试,未参与训练。

在 ShapeNet-Sketch 上,Magic3DSketch 在汽车、椅子和桌子等个别类别上略优;细尺度区域仍存在偏差,作者将其归因于手绘草图本身的歧义与不完整。