机器人奖励不再被灯光和机位带偏：把任务相关动态从视频里拆出来，MetaWorld成功率94.3%
核心概要
DiTaR把视频奖励建在任务相关潜动态上，MetaWorld-v3最终成功率94.3%，高于最强视频奖励基线ReWiND的65.2%，并在真实机器人离线强化学习中把成功率从43.3%提到83.3%。
深度剖析
机器人操作强化学习里，从视频学到的稠密奖励现在可以只对任务执行本身的变化作出反应，而不被相机机位、光照或背景等与任务无关的画面变化带偏。 此前的视频奖励在纠缠的视觉空间里计算，任务相关的状态变化与无关视觉变化混在一起，奖励可能响应视觉干扰而非真正的任务执行。 在MetaWorld-v3的16个视觉操作任务中，DiTaR最终成功率94.3%，最强视频奖励基线ReWiND为65.2%；在ManiSkill上DiTaR为87.5%，Env-only为74.6%，ReWiND为55.0%。
奖励来自任务相关潜空间中观测转移与所学任务动态的吻合程度随时间的变化，因此给出的是有方向的稠密信号，而不是一个绝对分数。 绝对吻合度只说明当前观测与所学分布是否一致，不能说明执行相对近期历史是否在改善，因此需要取时间差分。 在MetaWorld和ManiSkill上，去掉时间差分的变体在Coffee Pull、Faucet Open和ManiSkill Push Cube上学习效率下降；去掉历史条件在Handle Pull上几乎不进展。
任务相关表示通过非对称两阶段过程从多帧视频潜变量中学到，语言先提供任务语义，再被撤走，迫使第二个潜变量自己从视频里恢复任务相关信息。 单阶段重建编码器没有语言条件，其输出直接替换任务相关潜变量后，最终成功率从94.3%降到67.2%，NormT@0.8从0.244升到0.458。 在MetaWorld-v3的12个任务上，使用任务相关潜变量的DiTaR最终成功率94.3%，SR80为91.7%，而单阶段重建变体为67.2%和58.3%。
启示与展望
DiTaR面向从无动作视频学习稠密奖励的机器人操作强化学习研究者与工程师，在MetaWorld-v3和ManiSkill的16个视觉操作任务上验证，并通过奖励重标注迁移到Franka Research 3采集的150条真实演示。策略学习时仍保留稀疏环境奖励，DiTaR奖励作为稠密塑形信号与RND探索奖励一起使用。
DiTaR在强化学习过程中仍依赖稀疏环境奖励，完全基于视频的奖励学习留待未来工作。其预训练数据以视角有限的机器人操作视频为主，更广的多视角和第一人称数据可能进一步改善跨任务与跨环境的泛化。