FlyWheel是一组为TPU原生编写的注意力核，同时覆盖softmax注意力与Gated DeltaNet线性注意力。它针对TPU矩阵单元因重复操作数加载、向量运算密集和依赖停顿而闲置的问题，重整数据布局、把三角求逆与卷积改写成矩阵乘法，并显式交错独立计算。在TPU v6e上，softmax注意力相对RPA-v3最高提速3.49倍、相对Splash Attention最高提速1.56倍，达到峰值BF16吞吐的81%。
状态空间模型解码此前每步都要把整个循环状态读入再写回，状态读写成为显存带宽瓶颈，投机解码也缺少廉价回滚。ReplaySSM把状态改写成一份检查点加一段近期输入的缓冲区，只在缓冲区填满时写检查点，多数步骤只追加输入并直接算输出。在vLLM上对Mamba-2与Gated DeltaNet实现后，服务批大小256时标准解码相对调优基线加速，两个120B级模型上吞吐接近vLLM投机解码，分离精度还降低了输出KL散度与下游精度损失。
该工作提出AsyncLLM——一个基于Python asyncio的async/await编程模型、让预训练LLM以并发协程方式观察、推理与行动的通用异步智能体框架，通过CacheBlock（注意力KV缓存与Gated DeltaNet循环状态）与cache view实现协程间实时共享记忆，并在流式视频理解、ViZDoom游戏和DevOps-Gym系统监控三类任务上，用同一族Qwen 3.x视觉语言模型在无任务特定训练的情况下完成异步运行。
该工作在一个架构匹配的 Qwen3.5 4B→9B 混合模型（Gated DeltaNet 加全注意力）配对中，把源模型读入前缀后产生的持久推理状态（注意力 KV、GDN 循环矩阵与卷积历史）直接安装到更大的接收模型上，不做目标前缀重放；在固定翻译 KV 的基础上加入 GDN 持久状态包使教师强制 NLL 下降 0.747 nats/token（95% 配对文档自助 CI [0.6921, 0.8047]），全部 64 篇 PG19 文档均改善，直接复用循环与卷积状态优于所测试的学习式 GDN 映射，再叠加 434,176 个可训练参数的秩 4 修正后，续写损失仅高于原生 9B 0.076 nats/token、JS 散度 0.022、原生上下文恢复 NCR 0.
已读完全部报道