Möbius把去噪搬进语言模型:不靠运动VAE,HumanML3D生成与描述同时领先
Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。
Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。
英伟达Cosmos世界模型开发平台新增四个开放权重检查点,均由Cosmos 3 Nano后训练而来、各含160亿可训练参数,分别用于多视角驾驶数据生成、相机与激光雷达同步的流式驾驶仿真、把模拟器控制渲染成逼真画面,以及按双臂机器人动作预测视频。四个检查点连同四阶段后训练配方一起发布,采用允许商用与非商用的OpenMDW1.1许可;官方同时指出,这些模型在策略学习与评估中何处可靠、边界何在仍待测量。
LeWAM把视觉表征、动作条件潜在动力学和随机策略放进同一次训练,在接触密集任务上把规划成功率从28.6%提到89.7%,长程任务从10.9%提到46.2%,规划速度提高32.3倍。
作者提出ACT3,一种以动作为中心的三流Transformer:语义流(VLM)与动力学流(世界模型)各自独立前向计算,仅由动作专家通过逐层注意力读取两者的键值,并在动作监督下联合优化。在RoboCasa 24项厨房任务上成功率达71.2%(基线59.4%),LIBERO平均98.6%(基线96.9%),LIBERO-Plus分布偏移下82.4%(基线68.4%)。
YuE2 用一个约 3.58B 参数的 AR–NAR Mixture-of-Transformers 先写出包含旋律、和弦、调性、拍号、速度与曲式的 ABC 乐谱,再展开为语义音乐 token 并渲染成整首歌的音频,配套的 MERT2 与 SheetSage2 从录音中构造语义与符号监督;同一检查点下专家以 49.3% 对 34.6% 偏好带符号规划的生成,在 WildSongBench 上 YuE2 的 SongBench Global Avg 为 6.7316、best-of-8 为 6.9632,MERT2 在 15 项 MARBLE 指标中的 14 项超过此前最好结果,SheetSage2-AR 在 15 个基准–指标对中的 12 个领先。
Mira-Scene 提出一种组合式单图三维场景重建框架,用像素对齐的规范坐标图(CCM)与单目几何估计得到的场景点云图(PCM)构成稠密且有界的对应关系,再通过鲁棒几何对齐恢复物体变换,并用多模态扩散 Transformer 联合生成物体几何与 CCM;在室内、室外、合成与真实场景上,其布局精度优于强基线,在 BlendSwap 上相对 SAM3D 取得 39.8% 的 3D-IoU 与 16.5% 的 2D-IoU 相对提升,且仅使用有限的开源训练数据。
InternW0-Δ 把预训练视频专家与动作专家通过有向 Mixture-of-Transformers 耦合,用冻结 VLM 提供场景语义、用 Causal Imprint 从训练期未来监督中学习与未来相关的场景变化、用 Track4World 教师做仅训练期的 4D 几何与运动蒸馏,并在机器人演示、UMI、自我中心人类演示与 Ego2Robot 数据统一为规范状态-动作表示后构成超过 2 万小时语料上预训练,在 LIBERO-Plus 取得 92.8%、RoboTwin 2.0 Clean2Random 取得 71.9%、EBench 总分 66.0、RoboDojo 平均成功率 23.91%,并在四类真机平台(两种夹爪、两种灵巧手)上完成部
已读完全部报道