跳到主要内容
返回时间线
arXiv来源发表:

形状对应不再受网格分辨率拖累:把空间-谱耦合写成注意力,训练峰值显存从106.08降到5.67 GiB

核心概要

高分辨率三维网格上的稠密形状对应长期受制于空间-谱耦合的二次方开销:两张各含k个顶点的形状,一次耦合就要占用约GB级显存,现有方法只能先大幅降采样再回传。Geo-FlashAttention把这一耦合改写为缩放点积注意力,并只在按测地距离选出的表面块上计算精确softmax,从而在保持精确实现对应精度的同时获得近线性经验扩展。在顶点规模下,训练峰值显存由106.08 GiB降至5.67 GiB,且每步训练快于FlashAttention,使皮层表面这类高分辨率网格的端到端对应学习成为可能。

Source-provided article image: Spatial-Spectral Coupling as Attention: Scaling Shape Correspondence to High-Resolution Surfaces
arXiv

深度剖析

稠密形状对应现在可以在数万到十余万顶点的网格上端到端训练,而不必先把网格大幅降采样再回传预测。 此前的功能映射方法在把谱表示耦合回空间域时,需要显式构造两张形状顶点之间的稠密相似度矩阵,前向和反向传播都要物化它,显存随网格规模二次增长。 在顶点规模上,训练峰值显存从106.08 GiB降到5.67 GiB,并且Geo-FlashAttention每步训练比FlashAttention更快。

做法是把空间-谱耦合直接看成一次注意力计算,再用几何信息把注意力限制在局部表面块上。 缩放点积注意力此前用于序列建模,其精确实现依靠硬件感知分块避免物化注意力矩阵;线性注意力等近似方法则用低秩特征映射替换softmax。 学习到的形状描述子充当查询和键,谱基函数充当值,耦合因此等价于缩放点积注意力;Geo-FlashAttention用测地最远点采样划分表面块,每个目标块只对得分最高的若干源块计算精确softmax。

在六个标准基准和三条功能映射流水线上,高效耦合保持了精确实现的对应精度。 线性化耦合虽然把代价降到线性,却改变了对应本身,在强非等距形状对上误差明显更大。 在FAUST、SCAPE、SHREC'19、SMAL、DeformingThings4D和TOPKIDS上,稠密耦合与替代耦合的平均误差差异方向不一且普遍小于种子波动;线性注意力在六个基准中的四个、Performer在五个上显著更差,最大差距出现在SMAL和DT4D-inter。

启示与展望

演示范围覆盖FAUST、SCAPE、SHREC'19、SMAL、DeformingThings4D与TOPKIDS六个标准基准上的ULRSSM、HFM和ZoomOut三条流水线,以及Mindboggle-101右半球白质表面上十余万顶点的皮层匹配;时间与显存测量在单张独占的H200 NVL上完成。

这一改写只在对应通过矩阵乘积被消费时成立;Geo-FlashAttention依赖固定的候选预算,且不提供近似保证,扩展性来自经验拟合。皮层表面评估缺少稠密真值,只能借助手工校正的DKT31分区和无标签的面积畸变评分,而参考标签由FreeSurfer初始化,与该基线的一致性部分内建于指标。