ELSA3D用弹性语义锚定统一3D理解与生成,在图像到3D、文本到3D生成和3D描述上取得最优性能,同时将FLOPs与推理延迟约减半
ELSA3D提出弹性语义锚定,用尺度感知八叉树分词器表示几何,并引入稀疏跨模态的Anchor Tokens,将语义线索路由到最相关的3D尺度并回写融合信号,配合逐块轻量路由器实现弹性计算与推理,在图像到3D生成、文本到3D生成和3D描述上取得最优性能,超过最强统一基线,且相对同模型非弹性版本将FLOPs和推理延迟约减半。
ELSA3D提出弹性语义锚定,用尺度感知八叉树分词器表示几何,并引入稀疏跨模态的Anchor Tokens,将语义线索路由到最相关的3D尺度并回写融合信号,配合逐块轻量路由器实现弹性计算与推理,在图像到3D生成、文本到3D生成和3D描述上取得最优性能,超过最强统一基线,且相对同模型非弹性版本将FLOPs和推理延迟约减半。
SILSA提出一种拓扑感知的高分辨率三维生成框架,用沿三个坐标轴的固定重叠切片潜变量替代体素token,配合SliceVAE、体素锚格与切片级持续同调监督,在单图到三维任务上把PSNR从30.12提升到32.74、覆盖率从73.12%提升到79.08%、Betti误差相对降低9.2%,同时只用384个token,训练内存降低40.4%、推理时间降低58.5%。
已读完全部报道