MiMo-V2.6修掉工具调用重复:训练成本约9万美元,只有重启强化学习方案的4%
核心概要
MiMo-V2.6发布后,智能体场景里反复发出相同工具调用的问题被定位为强化学习奖励的盲区:只奖励正确性,不惩罚低于阈值的过量调用。团队先用单轮强化学习训练一个专门判断何时停止的教师模型,再通过多教师在线策略蒸馏把这一行为并入主模型。最终MiMo-V2.6-Pro与MiMo-V2.6-Flash在多种上下文长度和智能体框架下重复率大幅下降,完整训练约花费9万美元,为重启MixRL方案估计成本231万美元的4%。
深度剖析
MiMo-V2.6在MiMo Desktop、MiMo Code、OpenCode等智能体环境中会重复发出相同或高度相似的工具调用,消耗大量时间与上下文却不推进任务,内部评估的响应级重复率超过0.05%。 此前的强化学习流程只对单轮超过32次工具调用的行为施加惩罚,低于该阈值的过量调用不受约束。 在固定回放样本上,MiMo-V2.6-Flash-RL出现单轮超过10次工具调用的比例从强化学习第0步的11.1%升到第20步的24.6%,MiMo Code框架下从30.6%升到41.7%。
修复走的是蒸馏路线:先训练一个专门学会在合适位置结束回合的教师模型,再把这一停止行为并入主模型。 直接下调惩罚阈值虽然能压制过量调用,但效果约20个训练步后才出现,且在全量内部评测集上只把重复率从13.45%降到3.83%。 教师模型用约7000个内部重复样本训练12步后,在训练集与留出集上的回放重复率都降到零;并入主模型的完整训练约花费9万美元。
启示与展望
公开的重复率指标只统计同一回合内、工具名与规范化参数完全一致的调用,因此是可观测重复的下界,不覆盖工具反馈后的跨回合重复、参数略有差异的近似重复,以及代码模式框架中嵌入脚本的调用。结论来自MiMo-V2.6-Pro与MiMo-V2.6-Flash在内部评测集和所列智能体框架上的前后对比。
精确回合内重复只是下界,作者明确它既不是完整重复率,也不衡量工具调用泛滥。下调阈值的实验在小型隔离数据源上进行,效果约20步后才显现,且在全量内部评测集上未消除问题。停止概率分析基于一条采样轨迹。
