软体机械臂的强化学习不再耗三年：六维降阶模型三小时训出跟踪策略，误差比RNN低四成
核心概要
气动软体机械臂的强化学习控制策略可以完全在离线降阶模型上训练，不必与易损硬件反复交互。此前软体机器人缺少可靠快速的仿真器，直接在硬件上试错代价高昂。研究把机械臂动力学约化到六维绝热谱子流形（aSSM）上，用一个仅6,924个参数的多项式常微分方程作为训练环境，三小时训出跟踪策略并零微调部署，跟踪误差比在4.8百万参数RNN或1.7百万参数Transformer上训练的同类策略低40%。
深度剖析
软体机械臂的轨迹跟踪策略现在可以只在一个从硬件数据学到的低维动力学模型里训练，训练过程完全不接触机械臂本体。 此前软体机器人的无模型强化学习需要在硬件上大量试错，而软材料反复使用会产生记忆效应和塑性变形，容易导致硬件失效；能刻画非线性动力学的软体仿真器又太慢，难以放进策略训练回路。 在气动软体连续臂SoPrA上，策略训练耗时3小时；若改为在硬件上完成同等训练，按外推需要约3年硬件交互。
训练环境是一个六维降阶模型，由多项式常微分方程描述，只从预先采集的阶跃控制数据中拟合得到。 该模型把机械臂的主导动力学限制在绝热谱子流形上，即一类低维吸引不变流形，其存在性依赖机械臂固有振动衰减远快于控制动作变化这一时间尺度分离。 模型含6,924个参数，辨识耗时5分钟；作为对照的4.8百万参数RNN和1.7百万参数Transformer分别需要13小时和100小时辨识。
在硬件闭环跟踪二维目标时，aSSM-RL策略的跟踪误差比在RNN或Transformer上训练的同类策略低40%。 RNN-RL和Transformer-RL虽然能描出轨迹，但误差增大时出现振荡和不稳定，机械臂呈现极端弯曲形态，难以连续跟踪。 测试目标为平面内的双纽线和方形轨迹，方形轨迹另设三档速度，其中最快一档为最慢档的3.2倍；aSSM-RL在全部轨迹上误差最低，aSSM-MPC紧随其后。
启示与展望
演示范围是竖直悬挂、由两个模块组成的气动软体连续臂SoPrA，仅用相机观测末端和中段位置，闭环任务是平面内双纽线与方形轨迹跟踪；作者提出下一步是把aSSM-RL用于软体手的动态灵巧操作，更长远的设想是仅从视频学习aSSM模型。
aSSM模型的有效性依赖时间尺度分离假设，作者用无量纲慢度指标衡量，理论保证要求该指标低于某一阈值，而实测值在双纽线和慢速方形上较小、在较快方形上随速度升高，目标速度提高时闭环性能略有下降。气动阀门的指令压力与实测压力存在滞后和不匹配，使所有策略的闭环预测出现小幅抖动；作者用0.3秒滑动平均做了数值模拟，认为升级压力阀有望改善精度，但这只是数值评估，尚未在升级后的硬件上验证。