ActFirst-OPD 让多轮智能体先行动后推理,在 ALFWorld、WebShop、ScienceWorld 上把同策略蒸馏训练提速 2.3、1.8、4.9 倍
该工作提出 ActFirst-OPD,把环境交互与完整响应生成解耦:学生模型借助参考下一观测做参考条件逆动力学推断并执行动作,一旦转移偏离参考轨迹就切换为自主下一动作预测,同时从收集到的交互上下文异步生成完整“先思考后行动”响应供教师做 token 级监督;在 0.6B、1.7B、4B 的 Qwen3 学生上,相对 Vanilla OPD 在 ALFWorld、WebShop、ScienceWorld 取得平均 2.3 倍、1.8 倍、4.9 倍的墙钟训练加速,并在九个基准–模型设置中的八个里平均任务成功率持平或更高。