机械臂逆运动学改由强化学习闭环：PolicyIK单次尝试在93.5%的留出任务上守住1毫米
核心概要
机械臂的逆运动学通常由数值求解器加人工整定的控制器完成，PolicyIK把这一环节改成目标条件强化学习策略，通过关节位置接口从位姿反馈更新关节参考。在仿真的7自由度OpenArm上，训练后的PPO策略单次尝试在93.5%的留出任务上把最后1秒的平均误差保持在1毫米以内，部署协议把成功率提高到98.9%；在实体臂上直接训练时，其到达与保持成功率高于四种经典逆运动学控制器。
深度剖析
机械臂的逆运动学可以不再依赖数值求解器加人工整定的控制器，而由一个从交互中学习的策略直接输出关节位置参考，并把毫米级全位姿精度作为训练目标。 此前的学习型到达策略多以位置目标或厘米级全位姿跟踪为指标，需要亚毫米精度时通常再配一个阻尼最小二乘求解器做最后修正。 在Isaac Sim的固定基座7自由度OpenArm、4120个与训练集不相交的起止任务上，PolicyIK单次尝试取得93.5%的严格成功率，中位位置误差0.25毫米；同一设置下经任务适配调参的UMI-RL粗成功率16.4%、严格成功率为零。
策略把动作累加进关节参考，并观测参考与实测关节之间的偏差，因此零动作就能保留位置控制器在静止时所需的偏置。 若动作相对实测关节施加，策略必须在每一步用非零动作重新生成这一偏置，动作一放松机械臂就会下沉。 去掉指令状态反馈后严格成功率下降9.2个百分点；把参考重新锚定到实测关节，粗成功率仍保持95.9%，严格成功率却从84.3%降到30.8%。
位姿误差以厘米级和亚毫米级两种尺度进入观测，动作步长随误差缩小，奖励同时为刷新最优误差和停留在容差内付酬。 单一动作尺度同时决定运送速度和末端修正分辨率，固定尺度下小步长拖慢运送、大步长降低末端精度。 去掉细尺度通道使中位位置误差从0.25毫米升到0.36毫米，去掉误差相关增益使进入容差的中位时间从1.73秒升到2.28秒；去掉驻留奖励后，进入容差的任务中有7.8%未能在最后1秒保持，而有驻留奖励时为2.4%。
同一策略可直接在实体臂上用离策略学习器训练，并在仿真抓放中执行视觉-语言-动作策略的末端指令。 经典控制器需要针对每台机器人整定阻尼、任务权重和增益，且不负责关节运动的实际执行。 在实体OpenArm的60个全位姿任务、25秒预算下，PolicyIK到达54个、在最后5秒保持43个，四种经典控制器的保持数最多为17个；在十个适配的LIBERO-Object任务上执行VLA指令的成功率为95.7%。
启示与展望
演示范围是固定基座的7自由度OpenArm与xArm7机械臂上的全位姿到达与保持，仿真评估使用4120个与训练集不相交的起止任务，实体评估使用60个任务和25秒预算；抓放结果来自仿真中十个适配的LIBERO-Object任务。
部署协议把严格成功率从93.5%提高到98.9%，但每个任务平均多花0.21次尝试，且仍失败的45个任务其目标构型更靠近关节限位。仿真中策略执行VLA指令的95.7%成功率与手工调参DLS的96.7%相当，差距集中在靠近安装座的抓取目标上。