跳到主要内容
返回时间线
arXiv来源发表:

大模型教师练出的操作外壳,装进4B小模型后仍拿下62.8%成功率

核心概要

TinyAstral把机器人操作智能体的改进重心放在模型之外的外壳上:先冻结一个开源教师模型,用前沿大模型智能体读取其轨迹、提出外壳修改,并只接受通过配对统计检验的改动,使教师在RoboTwin上的严格成功率从33.4%升到63.6%;再冻结最终外壳,把教师的推理与故障恢复轨迹蒸馏进4B学生,学生在同一外壳中达到62.8%,并在四个外壳版本上各自接近对应教师。

AI-generated editorial illustration: TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents

深度剖析

机器人操作智能体的能力不只取决于规划模型,还取决于它周围的外壳,即工具接口、执行反馈、任务记忆和故障恢复逻辑;TinyAstral把改进对象放在这层外壳上,而教师模型的权重全程冻结。 此前外壳演化与智能体蒸馏是两条分开的路线:前者改进冻结规划器周围的系统,后者从更强智能体的轨迹训练小模型,两者没有被接成一条流程。 在RoboTwin全部50个任务、10个评估种子的500个回合上,教师Qwen3.8-Flash-Next的严格成功率从起始外壳的33.4%升到最终外壳的63.6%,权重未变。

外壳的收益不绑定某一个规划器,换用其他冻结模型也能受益。 未参与外壳演化的DeepSeek-V4.1-Flash在同一批外壳版本上提升30.6个百分点,未训练的4B规划器从14.6%升到41.2%,三者都随四个测量版本单调改善。 三个规划器在同样的四个外壳版本、同样的500个RoboTwin回合上评测,且未做模型专属的外壳改动。

蒸馏把外壳演化的收益带进小模型:每个外壳版本各训练一个4B学生,学生成绩随版本上升并贴近对应教师。 四个版本的学生严格成功率依次为36.2%、49.8%、60.0%和62.8%,最终外壳下学生比未训练的4B规划器高21.6个百分点。 每个学生都从同一Qwen3.5-4B检查点、用同一配方在各自版本采集的成功回合上独立训练,并在对应外壳中评测。

最终4B学生在相同回合上超过所测的开源对手,并在未参与演化和训练的三个基准上接近552B规划器。 在Guava上学生为93.6%,高于自家教师模型放进Guava外壳的78.9%;在LIBERO-PRO上为78.3%,高于同一教师放进MotorMind和PyRUA-Lean外壳的57.3%和53.0%。 在SimplerEnv、VLABench和EB-Manipulation上,学生与教师相差不超过5.0个百分点,与同外壳的552B DeepSeek-V4.1-Flash相差不超过2.4个百分点;部署测量中每个回合的加速器时间约为教师五分之一。

启示与展望

演示范围是仿真基准上的操作任务:RoboTwin、Guava、LIBERO-PRO三个训练基准,以及未参与外壳演化与训练的SimplerEnv、VLABench、EB-Manipulation;真机方面,同一学生在SO-ARM101上完成两球分箱和三卷胶带堆叠。算力对比来自20个SimplerEnv回合的部署测量。材料提出后续工作将把方法扩展到更多RSI环境。

材料把外壳收益的迁移限定在所测规划器与所测外壳版本上,并指出模型规模的影响在LIBERO-PRO上最明显:0.8B学生在RoboTwin为61.8%、Guava为93.8%,但在LIBERO-PRO降到54.7%,而4B学生为78.3%。真机证据限于SO-ARM101上的两项演示任务。