大模型推理不再自己查自己：拆成1.7B、4B、8B三个模型互相交接，十项指标全超原模型
核心概要
单个大模型在推理时既生成又评估自己的中间步骤，容易偏向自己的输出，错误会顺着后续步骤传下去。一种协作学习方案把Qwen3-14B换成1.7B、4B、8B三个异构小模型，总参数量13.7B，通过显式交接任务状态让不同参数化的模型重新审视先前推理，再用协议蒸馏和步骤级监督训练它们何时继续、交接或终止。在五个基准的十项指标上，这套异构系统全部超过原14B模型，平均绝对提升2.38%，也超过24B的同构多智能体基线，且推理调用次数少于多智能体框架。
深度剖析
推理过程被拆到多个参数不同的小模型上，先前步骤由另一个模型重新检查，而不是由同一个模型反复自评。 此前单模型推理中，生成与评估由同一模型完成，容易偏向自己的输出，中间步骤的错误可能未被发现就影响后续推理。 在MuSiQue、GSM-Hard、MATH、MultiPL-E和Conifer五个基准的十项指标上，训练后的异构模型全部超过原Qwen3-14B，平均绝对提升2.38%。
异构模型通过显式交接任务状态来协作，每个模型按统一交互协议决定继续、把任务状态交给另一个模型，还是终止。 同构多智能体基线用三个Qwen3-8B共24B参数，异构系统只用13.7B，却在十项指标上全部超过它。 与用同一流程训练的同构协作系统相比，异构系统十项指标全部更高，平均绝对提升6.02%。
训练分两步：先用最大的模型切片生成示范来初始化跨模型交互，再用原大模型对完整轨迹中的每一步推理和交互决策打分。 只有结果层面的监督不足以指导协作过程中的中间推理和交互决策。 去掉协作训练、去掉协议蒸馏、去掉步骤级分数三种消融在十项指标上平均分别下降9.37、8.85和5.41分，且每一项都低于完整方法。
训练后的模型在推理时调用次数更少，重复推理也明显减少。 多智能体框架通常需要更多模型调用，且连续步骤之间容易重复推理。 在五个基准上，协作系统比MAD、AgentVerse、AFlow和GPTSwarm少用39.1%到84.8%的模型调用；MuSiQue上三个模型的推理重叠率从48.3%、24.1%、55.2%降到0.2%、0.3%、0.5%。
启示与展望
这套结果覆盖三个模型尺寸和五个基准，参数预算与原Qwen3-14B相当。适合关注多模型协作推理与训练方法的研究人员和工程师阅读。原文提出后续将研究更大模型池、更长交互轮次和未见任务分布上的泛化，以及通过多个检查者或不确定性感知聚合来获得更稳健的监督。
原文说明研究只覆盖三个模型尺寸和五个基准，向更大模型池、更长交互轮次和未见任务分布的泛化尚未探索。金字塔监督依赖检查者和评估者的质量，其偏差可能影响步骤级反馈。参数量相当不等于计算成本相同，协作推理会带来额外的延迟和内存开销，这些超出按参数量加权的输出token指标。