# ExRL执行长度控制方法

长动作块机器人策略的在线强化学习适配此前要直接优化高维动作序列，样本开销大，真实机器人上代价高。ExRL把适配对象换成每个预测动作块执行多少步这一标量决策，用离策略强化学习训练一个轻量适配器，基座策略保持冻结。在仿真基准与四项真实操作任务上，它让扩散策略、ACT、多类视觉-语言-动作模型和世界动作模型都能以较少在线交互获得提升，真实叠方块任务约十分钟物理交互后接近全成功。

长动作块机器人策略的在线强化学习适配此前要直接优化高维动作序列，样本开销大，真实机器人上代价高。ExRL把适配对象换成每个预测动作块执行多少步这一标量决策，用离策略强化学习训练一个轻量适配器，基座策略保持冻结。在仿真基准与四项真实操作任务上，它让扩散策略、ACT、多类视觉-语言-动作模型和世界动作模型都能以较少在线交互获得提升，真实叠方块任务约十分钟物理交互后接近全成功。