# 策略适应

长动作块机器人策略的在线强化学习适配此前要直接优化高维动作序列，样本开销大，真实机器人上代价高。ExRL把适配对象换成每个预测动作块执行多少步这一标量决策，用离策略强化学习训练一个轻量适配器，基座策略保持冻结。在仿真基准与四项真实操作任务上，它让扩散策略、ACT、多类视觉-语言-动作模型和世界动作模型都能以较少在线交互获得提升，真实叠方块任务约十分钟物理交互后接近全成功。

长动作块机器人策略的在线强化学习适配此前要直接优化高维动作序列，样本开销大，真实机器人上代价高。ExRL把适配对象换成每个预测动作块执行多少步这一标量决策，用离策略强化学习训练一个轻量适配器，基座策略保持冻结。在仿真基准与四项真实操作任务上，它让扩散策略、ACT、多类视觉-语言-动作模型和世界动作模型都能以较少在线交互获得提升，真实叠方块任务约十分钟物理交互后接近全成功。

VEPA把智能体护栏写成可执行符号规则，由大模型根据部署反馈提出补丁、确定性验证器只放行结构合法且无冲突的策略，在三个智能体安全基准上按活跃策略覆盖的事件取得最高F1，并随部署逐步扩大确定性执行的范围。

VEPA把智能体护栏写成可执行符号规则，由大模型根据部署反馈提出补丁、确定性验证器只放行结构合法且无冲突的策略，在三个智能体安全基准上按活跃策略覆盖的事件取得最高F1，并随部署逐步扩大确定性执行的范围。

该工作提出有限深度框架，用参考环境信息近似策略Hessian与混合导数来估计策略敏感度，其可调传播深度决定沿轨迹截断导数传播的位置；作者刻画了被截断的导数贡献并给出截断误差界，证明该界随深度非增且在全时域传播时消失，并在信念驱动的追逃博弈中验证：随深度增加导数估计误差总体下降，估计精度与策略适应优于基线，基于敏感度的初始化相对直接迁移提升了零样本回报并在后续微调中显示优势。

该工作提出有限深度框架，用参考环境信息近似策略Hessian与混合导数来估计策略敏感度，其可调传播深度决定沿轨迹截断导数传播的位置；作者刻画了被截断的导数贡献并给出截断误差界，证明该界随深度非增且在全时域传播时消失，并在信念驱动的追逃博弈中验证：随深度增加导数估计误差总体下降，估计精度与策略适应优于基线，基于敏感度的初始化相对直接迁移提升了零样本回报并在后续微调中显示优势。