该工作提出 WorldAttention,一种面向交互式视频世界模型的注意力架构,通过分层 KV 缓存(HKV)在 GPU、CPU、NVMe 多级内存间做页面级存储与两阶段检索,并用混合稀疏注意力(HSA)结合线性全局分支与头自适应块稀疏分支,在 VBench-Long 与 InterVBench 上取得主体一致性 0.9472 与 0.9668,同时实现相对 FlashAttention-3 的 14.02 倍稀疏核加速、整体 2.21 倍端到端加速,并在单张 NVIDIA H100 上维持 22.0 FPS。
该工作提出 WorldAttention,一种面向交互式视频世界模型的注意力架构,通过分层 KV 缓存(HKV)在 GPU、CPU、NVMe 多级内存间做页面级存储与两阶段检索,并用混合稀疏注意力(HSA)结合线性全局分支与头自适应块稀疏分支,在 VBench-Long 与 InterVBench 上取得主体一致性 0.9472 与 0.9668,同时实现相对 FlashAttention-3 的 14.02 倍稀疏核加速、整体 2.21 倍端到端加速,并在单张 NVIDIA H100 上维持 22.0 FPS。