# 目标条件强化学习

机械臂的逆运动学通常由数值求解器加人工整定的控制器完成，PolicyIK把这一环节改成目标条件强化学习策略，通过关节位置接口从位姿反馈更新关节参考。在仿真的7自由度OpenArm上，训练后的PPO策略单次尝试在93.5%的留出任务上把最后1秒的平均误差保持在1毫米以内，部署协议把成功率提高到98.9%；在实体臂上直接训练时，其到达与保持成功率高于四种经典逆运动学控制器。

机械臂的逆运动学通常由数值求解器加人工整定的控制器完成，PolicyIK把这一环节改成目标条件强化学习策略，通过关节位置接口从位姿反馈更新关节参考。在仿真的7自由度OpenArm上，训练后的PPO策略单次尝试在93.5%的留出任务上把最后1秒的平均误差保持在1毫米以内，部署协议把成功率提高到98.9%；在实体臂上直接训练时，其到达与保持成功率高于四种经典逆运动学控制器。

作者提出 BVER——一种受双向 RRT 规划启发的双向课程方法，同时从目标向外扩展起始状态、从初始状态分布向外扩展目标，并用 Voronoi 偏置把两端引向未探索任务空间并相互靠拢，在点质量迷宫、四足爬箱和机械臂套环任务上比所有对比的无参考课程学习更快，在 0.4 米箱体上以约少 65% 的迭代达到 95% 成功率，是其中唯一学会爬 0.7 米箱体的方法，并在无演示条件下接近基于参考课程在 0.4 米箱体和套环任务上的样本效率。

作者提出 BVER——一种受双向 RRT 规划启发的双向课程方法，同时从目标向外扩展起始状态、从初始状态分布向外扩展目标，并用 Voronoi 偏置把两端引向未探索任务空间并相互靠拢，在点质量迷宫、四足爬箱和机械臂套环任务上比所有对比的无参考课程学习更快，在 0.4 米箱体上以约少 65% 的迭代达到 95% 成功率，是其中唯一学会爬 0.7 米箱体的方法，并在无演示条件下接近基于参考课程在 0.4 米箱体和套环任务上的样本效率。