物理控制里的探索不再只看一步：HTC2把好奇心放到多步未来，十二个设置里十一个平均回报最高
核心概要
物理控制中的探索常依赖即时预测误差或单步物理量变化，容易错过要经过多步交互才显现的信息。HTC2 在学到的哈密顿相空间里训练一个按时间跨度条件化的对比评判器，用当前状态—动作与同一回合内多步未来之间的表示距离作为主要好奇心信号，再用有界的多步哈密顿变化调制它。在 DeepMind Control Suite 的六个任务上，HTC2 与 SAC、PPO 两种策略优化器结合后，在十二个设置中的十一个取得最高平均最终回报。
深度剖析
物理控制中的探索信号不再只由即时预测误差或单步物理量变化决定，而是由当前状态—动作与其多步未来之间的表示失配驱动。 此前的内在动机方法依赖即时预测误差、状态新颖度或局部物理变化，单步哈密顿变化好奇心也只在时间上局部，一次大的瞬时变化不一定意味着动作到达了长跨度上有信息量的未来。 在 DeepMind Control Suite 的六个任务上，HTC2 与 SAC、PPO 结合后在十二个设置中的十一个取得最高平均最终回报；SAC 下六个任务中五个排名第一，PPO 下六个任务全部最高。
好奇心信号来自一个按时间跨度条件化的对比评判器，它学习同一回合内当前状态—动作与未来状态之间的关系。 该评判器以 InfoNCE 目标训练，匹配的未来作为正样本、小批量内其他未来作为负样本，正样本对之间的表示距离被取作内在奖励。 时间跨度按截断几何分布采样，范围 1 到 16，且只保留同一回合内的锚点—未来对；该奖励再乘以由有界多步哈密顿变化给出的调制门，训练早期则用潜空间 RND 信号预热。
物理结构以调制而非替代的方式进入奖励，哈密顿变化只对时间对比信号做有界加权。 直接奖励学到的哈密顿量变化会偏向局部扰动，而不是跨时间跨度的发现。 在 walker_walk、hopper_hop、cheetah_run 三个任务的消融中，完整配置的平均最终回报最高；把时间对比奖励换成单步哈密顿变化后，hopper_hop 上的最终回报降幅最大。
启示与展望
报告的范围是 DeepMind Control Suite 的六个任务（walker_walk、walker_run、walker_stand、hopper_hop、hopper_stand、cheetah_run），HTC2 分别与 SAC 和 PPO 结合评测，并与 ICM、RIDE、E3B、Plan2Explore 及单步哈密顿变化基线比较；物理状态覆盖评测另用 cartpole_swingup、ball_in_cup_catch、finger_spin 三个任务，参数外分布保持评测用 walker_walk、hopper_stand、cheetah_run 在重力、摩擦、质量、阻尼扰动下的变体。
覆盖结果因环境而异：cartpole_swingup 与 finger_spin 上 HTC2 的最终覆盖最高，ball_in_cup_catch 上则是 RIDE 最高、HTC2 覆盖 AUC 排第二。参数外分布保持上 HTC2 在十二个设置中七个最好，摩擦与阻尼扰动下的表现更依赖任务。消融中单步哈密顿变化在 hopper_hop 上未能学到有效跳跃行为。