# BridgeKV

BridgeKV 让同一模型家族里的大模型只做一次预填，再由一个轻量 KV 拼接模块把大模型的提示缓存翻译成小模型的原生缓存布局，之后每个输出 token 只由小模型生成。在六个模型对、五个数据集共 30 个设置上，它的得分都高于可训练参数量匹配的微调小模型基线，最多补上与大模型两阶段推理之间 80% 的质量差距。单张 A40 上，Llama-3.1-Instruct-8B→Llama-3.2-Instruct-1B 处理 1K 提示、256 输出 token 用时 2.96 秒，接近小模型单独运行的 2.80 秒，比大模型单独运行的 8.83 秒快 3.0 倍。

BridgeKV 让同一模型家族里的大模型只做一次预填，再由一个轻量 KV 拼接模块把大模型的提示缓存翻译成小模型的原生缓存布局，之后每个输出 token 只由小模型生成。在六个模型对、五个数据集共 30 个设置上，它的得分都高于可训练参数量匹配的微调小模型基线，最多补上与大模型两阶段推理之间 80% 的质量差距。单张 A40 上，Llama-3.1-Instruct-8B→Llama-3.2-Instruct-1B 处理 1K 提示、256 输出 token 用时 2.96 秒，接近小模型单独运行的 2.80 秒，比大模型单独运行的 8.83 秒快 3.0 倍。