DexPolicy把探索噪声写成训练步数的函数，在仿真与真机上把灵巧操作确定性成功率从49.4%提到68.1%（FPO）
核心概要
该工作提出DexPolicy，在ViViDex这类由人类视频轨迹引导的灵巧操作强化学习中，把动作噪声尺度显式设为训练步数的退火函数，同时固定损失、架构、奖励与优化器设置，在PPO、无评论家的GRPO续训与流参数化PPO变体（FPO）三种策略优化设置下，于五个YCB物体和三个训练种子上把平均确定性Target成功率分别从32.0%提到35.7%、14.1%提到45.4%、49.4%提到68.1%，并在RealMan RM75机械臂配Inspire/RH56手的360次真机试验中把平均Target成功率分别从8.3%提到43.3%、10.0%提到63.3%、25.0%提到85.0%。
深度剖析
把探索尺度从“由更新过程学出来”改为“由训练步数显式规定”，在三种策略优化设置下都提高了最终确定性Target成功率。 此前ViViDex的PPO基线让actor学习高斯动作标准差，三次芥末瓶基线运行在5M步后对数尺度仅从名义0.20降到0.185–0.186；该工作冻结该参数并按步数退火，保持损失形式与优化器设置不变。 仿真端五个YCB物体、三个训练种子，PPO与FPO约5M步、GRPO为匹配检查点续训；每个检查点100个随机与100个确定性回合，共96个检查点、192次评估、19200个回合，报告均值与样本标准差且不作显著性声明。
真机上确定性执行时成功率同样提升，说明增益不是部署时少采样高斯噪声造成的。 所有条件都以策略均值执行，因此真机差异来自训练期噪声调度而非评估期噪声大小。 RealMan RM75机械臂配Inspire/RH56手，三个物体、18个物体–方法条件、每个条件一个模型20次试验共360次；PPO从8.3%到43.3%、GRPO从10.0%到63.3%、FPO从25.0%到85.0%，提升成功率从38.3%到58.3%、46.7%到95.0%、45.0%到93.3%。
PPO组件筛查把增益归因于噪声控制而非所测试的更新收缩，且所选调度优于同端点的线性衰减。 单种子芥末瓶筛查中，仅噪声调度把奖励AUC从19.96提到27.36并改善接触与提升，仅更新收缩把奖励AUC降到12.35、提升AUC降到0.00293米，两者合并未能恢复到基线；形状门控显示均匀线性衰减与连续前置衰减均未通过，去掉2M跳变通过、去掉末端下降失败（提升保留78.2%）。 组件筛查为单种子；线性对照使用三个独立训练种子、每模型100个确定性回合，芥末瓶75/95/81%、马克杯33/26/30%、香蕉1/2/1%，其种子未与基准种子配对，且该形状结论仅针对PPO。
训练回报、确定性Target成功率与对执行噪声的容忍度三者相互分离，因此调度应按目标执行条件下的终端任务成功率来评判。 FPO在糖盒上回报先落后超，PPO糖盒回报上升而最终Target成功率仍为零，GRPO芥末瓶回报上升却在复制种子上出现均值反转；GRPO在共同噪声0.03下五物体Target为对比值，在0.10下反转，原生噪声下为7.0%对43.5%。 GRPO续训含30个模型（五物体、两条件、三种子），冻结模型接受200个确定性、200个原生随机回合以及0.03/0.10各100个共同标准差回合，共120次评估、18000个回合；每回合初始位姿相等性未记录。
启示与展望
该结果面向ViViDex式状态策略阶段、按物体单独训练的策略，以及以确定性执行策略均值为部署方式的场景；对希望在不改损失与优化器的前提下提升终端任务成功率的机器人学习研究者与工程团队最直接可用。调度规则本身可跨物体复用，代码与网站已公开，真机平台为RealMan RM75配Inspire/RH56手，训练在与之匹配的仿真器中进行。
三个训练种子限制了稳定性估计，真机每个条件仅一个模型、单一平台，重复试验无法确立训练种子稳健性或跨平台迁移；GRPO芥末瓶在复制种子上的均值反转限制了可重复性；续训实验既不能说明从零训练效率，也不能给出预算匹配的跨方法比较；重置、冻结与退火三种操作尚未分离，共享的信用分配规则也未单独消融；原生随机评估混合了策略质量与执行噪声，匹配噪声诊断只覆盖GRPO的两个尺度；八个PPO/FPO物体中三个基本未解决，延长训练只覆盖芥末瓶；消融只覆盖一种优化器收缩与一个固定FPO尺度，且缺少调优过的固定低噪声PPO基线。此外，本次载入文本中部分表格数值以空白形式呈现，若需引用具体单元格数字，应以原文为准。