# ReplaySSM

状态空间模型解码此前每步都要把整个循环状态读入再写回，状态读写成为显存带宽瓶颈，投机解码也缺少廉价回滚。ReplaySSM把状态改写成一份检查点加一段近期输入的缓冲区，只在缓冲区填满时写检查点，多数步骤只追加输入并直接算输出。在vLLM上对Mamba-2与Gated DeltaNet实现后，服务批大小256时标准解码相对调优基线加速，两个120B级模型上吞吐接近vLLM投机解码，分离精度还降低了输出KL散度与下游精度损失。

状态空间模型解码此前每步都要把整个循环状态读入再写回，状态读写成为显存带宽瓶颈，投机解码也缺少廉价回滚。ReplaySSM把状态改写成一份检查点加一段近期输入的缓冲区，只在缓冲区填满时写检查点，多数步骤只追加输入并直接算输出。在vLLM上对Mamba-2与Gated DeltaNet实现后，服务批大小256时标准解码相对调优基线加速，两个120B级模型上吞吐接近vLLM投机解码，分离精度还降低了输出KL散度与下游精度损失。

混合模型把状态空间层与少量注意力层交错，状态空间层用固定大小状态替代随上下文增长的键值缓存，但在服务批量下它反而成为延迟瓶颈，并让投机解码与量化难以奏效。ReplaySSM把状态表示为一个检查点加一段近期输入缓冲，输出计算与状态更新因此分开，多数步骤只追加输入、不写回状态。在四个混合模型上，批量256时内核快1.46至1.80倍、解码步快1.20至1.47倍；两个120B级模型在批量512的投机解码吞吐为vLLM的1.85倍和2.10倍。

混合模型把状态空间层与少量注意力层交错，状态空间层用固定大小状态替代随上下文增长的键值缓存，但在服务批量下它反而成为延迟瓶颈，并让投机解码与量化难以奏效。ReplaySSM把状态表示为一个检查点加一段近期输入缓冲，输出计算与状态更新因此分开，多数步骤只追加输入、不写回状态。在四个混合模型上，批量256时内核快1.46至1.80倍、解码步快1.20至1.47倍；两个120B级模型在批量512的投机解码吞吐为vLLM的1.85倍和2.10倍。