低比特智能体不再丢任务：SteerDistill用教师闭环纠错，W4A16平均分距BF16不到1分
核心概要
低比特量化能压低大模型智能体的推理成本，却常让智能体漏看任务要求或环境条件，在工具调用中走错步骤。SteerDistill 让全精度教师定位学生第一次行为偏离，给出结构化纠错提示，学生执行后由环境反馈验证，教师据此反复修正提示，直到修正被局部验证。随后学生不带提示地学习这些修正，在五个智能体基准、三个模型上，W4A16 平均分比最强量化基线高 1.67–2.18 分，距 BF16 不到 1 分。
深度剖析
量化后的智能体在工具调用任务里会漏掉任务要求或环境条件，例如未进入目录就去读文件，或建了文件却不写内容，导致环境状态偏离全精度成功轨迹。 此前的量化能力恢复依赖离线数据或学生自己的在线采样，前者可能覆盖不到学生出错的上下文，后者在这些上下文里很少给出正确动作。 在 BFCL V4 多轮诊断中，学生无引导重试只在 9.6% 的偏离轮次上取得正确动作，而教师引导把这一轮级 Pass@4 提高到 82.3%。
训练时由全精度教师指出被忽略的条件并给出纠错规则，学生在恢复的错误前状态上重新作答，执行结果与成功参考比对通过后才保留该修正。 教师提示采用结构化格式，分别写明差异、适用条件和纠正规则，而不是自由文本。 在 Qwen3-8B、W4A16 的 BFCL V4 消融中，结构化提示比自由文本高 2.06 分，教师作为提示来源比学生自己生成高 5.10 分，比 GPT-5.6-Sol 高 1.57 分。
启示与展望
演示范围是五个智能体基准（BFCL V4、-Bench、WebShop、ALFWorld、Search QA）和三个模型（Qwen3-8B、Qwen3.5-4B、Gemma 4 12B-it），主要设置是 W4A16，Qwen3-8B 另测 W4A8 与 W2A16；推理时只用训练后的量化学生，不带教师或提示。
教师引导式轨迹修正需要同一任务与初始环境下的成功教师参考、错误前历史与环境状态的恢复，以及可靠的局部验证；缺少成功参考的失败轨迹只保留用于蒸馏，得不到引导修正。局部验证只检查修正在当前上下文中的效果，不保证任务最终成功，也不保证响应中每一步推理正确。