# 协议蒸馏

单个大模型在推理时既生成又评估自己的中间步骤，容易偏向自己的输出，错误会顺着后续步骤传下去。一种协作学习方案把Qwen3-14B换成1.7B、4B、8B三个异构小模型，总参数量13.7B，通过显式交接任务状态让不同参数化的模型重新审视先前推理，再用协议蒸馏和步骤级监督训练它们何时继续、交接或终止。在五个基准的十项指标上，这套异构系统全部超过原14B模型，平均绝对提升2.38%，也超过24B的同构多智能体基线，且推理调用次数少于多智能体框架。

单个大模型在推理时既生成又评估自己的中间步骤，容易偏向自己的输出，错误会顺着后续步骤传下去。一种协作学习方案把Qwen3-14B换成1.7B、4B、8B三个异构小模型，总参数量13.7B，通过显式交接任务状态让不同参数化的模型重新审视先前推理，再用协议蒸馏和步骤级监督训练它们何时继续、交接或终止。在五个基准的十项指标上，这套异构系统全部超过原14B模型，平均绝对提升2.38%，也超过24B的同构多智能体基线，且推理调用次数少于多智能体框架。