arXiv来源发表:
世界模型不再逐步递归:一次前向生成H步假设轨迹,人形与四足任务直接优化价值展开
核心概要
基于模型的强化学习改用分块世界模型做可微的训练期评估器,一次前向生成H步假设轨迹并直接优化价值展开,在HumanoidBench的19个高维人形任务上评估,并部署到真实四足与双足行走。
深度剖析
基于模型的强化学习不再依赖逐步递归调用模型,而是把分块世界模型当作训练期的可微评估器来优化分块策略。 此前的做法要么用无导数规划与想象轨迹训练,要么用动力学梯度更新策略,这些路径都不同程度受递归复合误差、推理时延迟和沿时间反向传播不稳定困扰。 该方法在HumanoidBench的19个高维人形任务上评估,并部署到真实世界用于四足与双足行走。
世界模型与策略协同做分块预测,因此可以在单次前向中展开H步假设轨迹。 分块世界模型是可微的训练期评估器,分块策略由它直接优化,无需递归调用模型。 评估覆盖HumanoidBench的19个高维人形任务,另有真实四足与双足行走的部署。
启示与展望
报道范围限于摘要所述内容:方法在HumanoidBench的19个高维人形任务上评估,并部署到真实世界用于四足与双足行走。适合关注基于模型强化学习与机器人连续控制的研究人员和工程师阅读。摘要未提出下一步实验计划。
摘要称此前路径不同程度存在递归复合误差、推理时延迟与BPTT不稳定,但未给出各方法的具体对照数值;分块预测在长时程任务上的表现也未在摘要中说明。
