Genming Cui

低比特量化能压低大模型智能体的推理成本，却常让智能体漏看任务要求或环境条件，在工具调用中走错步骤。SteerDistill 让全精度教师定位学生第一次行为偏离，给出结构化纠错提示，学生执行后由环境反馈验证，教师据此反复修正提示，直到修正被局部验证。随后学生不带提示地学习这些修正，在五个智能体基准、三个模型上，W4A16 平均分比最强量化基线高 1.67–2.18 分，距 BF16 不到 1 分。

低比特量化能压低大模型智能体的推理成本，却常让智能体漏看任务要求或环境条件，在工具调用中走错步骤。SteerDistill 让全精度教师定位学生第一次行为偏离，给出结构化纠错提示，学生执行后由环境反馈验证，教师据此反复修正提示，直到修正被局部验证。随后学生不带提示地学习这些修正，在五个智能体基准、三个模型上，W4A16 平均分比最强量化基线高 1.67–2.18 分，距 BF16 不到 1 分。