# 块稀疏注意力

UltraTex 是一个端到端多视图扩散框架，通过背景令牌丢弃、块稀疏注意力和前景感知 VAE 解码，把图像引导的 3D 纹理生成从 512/768 分辨率扩展到 2048 分辨率，并构建了覆盖超过 268,000 个 3D 资产的 G-buffer TexVerse 数据集，在数据集常见前景比例区间（10%–30%）内实现 20.6–91.1 倍训练加速和 22.3–74.6 倍端到端推理加速。

UltraTex 是一个端到端多视图扩散框架，通过背景令牌丢弃、块稀疏注意力和前景感知 VAE 解码，把图像引导的 3D 纹理生成从 512/768 分辨率扩展到 2048 分辨率，并构建了覆盖超过 268,000 个 3D 资产的 G-buffer TexVerse 数据集，在数据集常见前景比例区间（10%–30%）内实现 20.6–91.1 倍训练加速和 22.3–74.6 倍端到端推理加速。

上海交通大学与字节跳动 Seed 的研究者提出 PISA，一种用金字塔式由粗到细 Top-K 选择加 LogSumExp 打分、并配 Triton 核的块稀疏注意力机制，把块选择复杂度从 O(N²/C) 降到 O(N log N)，在 418M、1.47B、2.67B 三个规模上与 BSA、NSA、HiLS 在语言建模和常识推理上表现相当，在六项检索任务上取得稀疏方法中最高平均准确率，并在 64K、128K、256K 序列长度上分别比 BSA 的块选择快 2.86 倍、5.31 倍、9.95 倍。

上海交通大学与字节跳动 Seed 的研究者提出 PISA，一种用金字塔式由粗到细 Top-K 选择加 LogSumExp 打分、并配 Triton 核的块稀疏注意力机制，把块选择复杂度从 O(N²/C) 降到 O(N log N)，在 418M、1.47B、2.67B 三个规模上与 BSA、NSA、HiLS 在语言建模和常识推理上表现相当，在六项检索任务上取得稀疏方法中最高平均准确率，并在 64K、128K、256K 序列长度上分别比 BSA 的块选择快 2.86 倍、5.31 倍、9.95 倍。