长动作块策略的在线适配改学执行长度：ExRL冻结基座策略，真实叠方块约十分钟接近全成功
核心概要
长动作块机器人策略的在线强化学习适配此前要直接优化高维动作序列，样本开销大，真实机器人上代价高。ExRL把适配对象换成每个预测动作块执行多少步这一标量决策，用离策略强化学习训练一个轻量适配器，基座策略保持冻结。在仿真基准与四项真实操作任务上，它让扩散策略、ACT、多类视觉-语言-动作模型和世界动作模型都能以较少在线交互获得提升，真实叠方块任务约十分钟物理交互后接近全成功。
深度剖析
长动作块策略的在线适配不再需要直接优化整段高维动作序列，而是改为学习每个预测动作块执行多长再重新规划。 此前用强化学习适配这类策略时，被优化的动作块维度高，往往需要大量在线样本，而真实机器人交互数据采集慢、成本高。 在Robomimic、Adroit与LIBERO仿真基准上，ExRL在冻结基座策略的条件下常把成功率提升到接近满分，并在DP的Can、Square与Tool Hang任务上明显超过最优固定执行长度基线。
适配器只输出一个离散的执行长度，基座策略仍负责生成原始动作，因此适配空间不随动作块长度增长。 方法名为ExRL，做法是在基座策略之外加一个轻量执行长度策略，以当前状态和预测出的动作块为输入，在可行长度集合上选择执行步数。 执行长度策略用离策略算法训练，实例化为基于价值的ExRL-Q和基于离散SAC的ExRL-SAC两种变体，并采用按实际执行时长累计奖励与折扣的时序差分目标。
真实机器人上，冻结基座策略的ExRL-Q在叠方块任务约十分钟物理交互后接近全成功，长程折衣任务在数分钟内接近完成。 四项真实任务分别覆盖接触密集的插电、可变形物体折叠、长程协调与多阶段零件整理，最终评估相对固定长度执行均有明显提升。 真实实验使用AgileX Piper机械臂，ExRL-Q以十个critic的均值选择执行长度，操作员只标记任务或阶段完成，不提供动作纠正或遥操作。
启示与展望
已展示的范围是三类仿真基准上的多类动作块策略，以及AgileX Piper机械臂上四项真实任务；真实实验保持基座策略冻结，未加入在线行为克隆。
真实任务中部分任务仍未达到成功，性能受基座策略可提出的动作限制；各任务分别适配，尚未评估联合多任务适配或对未见任务的泛化；也未与实时分块等异步推理方法联合测试。