物理控制里的探索不再只看一步：HTC2把好奇心放到多步未来，十二个设置里十一个平均回报最高
物理控制中的探索常依赖即时预测误差或单步物理量变化，容易错过要经过多步交互才显现的信息。HTC2 在学到的哈密顿相空间里训练一个按时间跨度条件化的对比评判器，用当前状态—动作与同一回合内多步未来之间的表示距离作为主要好奇心信号，再用有界的多步哈密顿变化调制它。在 DeepMind Control Suite 的六个任务上，HTC2 与 SAC、PPO 两种策略优化器结合后，在十二个设置中的十一个取得最高平均最终回报。