跳到主要内容
检索

# 函数映射

1 篇关联报道

订阅更新
  1. arXiv

    形状对应不再受网格分辨率拖累:把空间-谱耦合写成注意力,训练峰值显存从106.08降到5.67 GiB

    高分辨率三维网格上的稠密形状对应长期受制于空间-谱耦合的二次方开销:两张各含k个顶点的形状,一次耦合就要占用约GB级显存,现有方法只能先大幅降采样再回传。Geo-FlashAttention把这一耦合改写为缩放点积注意力,并只在按测地距离选出的表面块上计算精确softmax,从而在保持精确实现对应精度的同时获得近线性经验扩展。在顶点规模下,训练峰值显存由106.08 GiB降至5.67 GiB,且每步训练快于FlashAttention,使皮层表面这类高分辨率网格的端到端对应学习成为可能。

已读完全部报道