跳到主要内容
检索

# OnlineQAT

1 篇关联报道

订阅更新
  1. arXiv

    OnlineQAT用学生自生成前缀上的在线策略蒸馏,把Qwen3-1.7B的W3A16六任务均值提升到57.28,超过ReasoningQAT 2.90分

    OnlineQAT提出两阶段超低位恢复框架:先用分块量化感知训练得到可用的W2/W3初始化,再在量化学生自己生成的响应前缀上,由冻结的全精度教师提供采样反向KL信号做在线策略蒸馏;在Qwen3-1.7B上,其六任务均值在W3A16达57.28、W2A16达32.52,分别比ReasoningQAT高2.90和0.44分,说明学生实际访问的状态能提供固定补全训练之外的恢复信号,三比特下尤为明显。

已读完全部报道