# FOSCAR解码注意力内核

低比特KV缓存能减少显存读取，但现有内核仍要逐个把整数还原成浮点并乘缩放、加偏移，指令发射成为新瓶颈。FOSCAR把每个量化组共享的缩放与偏移折叠到矩阵乘的另一操作数或部分积上，并用位操作直接从打包整数构造张量核操作数。在H100与B200上，其INT2内核相对FlashInfer BF16取得几何平均加速，并已作为内核库开源。

低比特KV缓存能减少显存读取，但现有内核仍要逐个把整数还原成浮点并乘缩放、加偏移，指令发射成为新瓶颈。FOSCAR把每个量化组共享的缩放与偏移折叠到矩阵乘的另一操作数或部分积上，并用位操作直接从打包整数构造张量核操作数。在H100与B200上，其INT2内核相对FlashInfer BF16取得几何平均加速，并已作为内核库开源。