Quan Nguyen-Tri

Flash-dLLM 是一个免训练的扩散语言模型推理加速框架：用 I/O 感知的融合 KV 缓存内核（把 QKV 投影、RoPE 与缓存写入合并并在 SRAM 内完成、直接写回 KV 缓存）和调度式 Flash Attention 缓解 GPU 显存读写瓶颈，用选择性缓存更新只保留最受关注的少量 token，并让模型自身同时充当草稿者与验证者（Flash-Verify）；在 LLaDA-1.5 上的 GSM8K、MATH、HumanEval、MBPP 实验中，它报告相对最强基线 Elastic-Cache 在 GSM8K 与 HumanEval 上分别 5.1× 和 11.0× 的加速，并保持生成质量。

Flash-dLLM 是一个免训练的扩散语言模型推理加速框架：用 I/O 感知的融合 KV 缓存内核（把 QKV 投影、RoPE 与缓存写入合并并在 SRAM 内完成、直接写回 KV 缓存）和调度式 Flash Attention 缓解 GPU 显存读写瓶颈，用选择性缓存更新只保留最受关注的少量 token，并让模型自身同时充当草稿者与验证者（Flash-Verify）；在 LLaDA-1.5 上的 GSM8K、MATH、HumanEval、MBPP 实验中，它报告相对最强基线 Elastic-Cache 在 GSM8K 与 HumanEval 上分别 5.1× 和 11.0× 的加速，并保持生成质量。