跳到主要内容
检索

Linquan Wu

1 篇关联报道

订阅更新
  1. arXiv

    Draft-KV 让接收方真正用上共享方草稿的 KV 状态:MMLU-Redux 上 0.5B 接收方从 37.45% 升到 78.04%,换成无关问题的消息则回落到 36.40%

    该工作先审计了已有潜在通信接口:在五个方法-数据集组合中,把消息换成来自无关问题的消息,准确率变化最多 0.60 个百分点,即使通信本身比单独接收方高出 15.44 个百分点,说明增益可能来自接口适配而非消息内容;随后提出 Draft-KV,把共享方起草答案时形成的键值状态经线性投影放入侧记忆、由带门控的注意力分支读取,并以渐进式训练从消息重建过渡到答案监督、同时用单侧护栏限制错配消息的伤害,两个模型保持冻结、接口仅训练 1.05M 参数(比 C2C 少 348 倍);在 Qwen3-8B 共享方与冻结的 Qwen2.5-0.5B-Instruct 接收方组合下,MMLU-Redux 达到 78.04%,单独接收方为 37.45

已读完全部报道