跳到主要内容
返回时间线
MIT News - Artificial intelligence来源发表:

生成模型不必每一步都守约束:HardFlow只在终点把关,机器人与图像编辑同时满足硬约束

核心概要

MIT 研究者提出 HardFlow,把硬约束生成改写为轨迹优化问题,只在最终输出上强制安全、物理或任务要求,而不在每一步中间采样上强制。此前常用的投影式采样在生成全程反复把中间样本拉回可行域,容易限制模型找到更好解。在机器人操作、迷宫导航和文本引导图像编辑实验中,HardFlow 达到完全约束满足,并在解的质量指标上持续优于基线方法,计算时间与多数对比方法相当或更低。

AI-generated editorial illustration: New method enables AI for safety-critical situations

深度剖析

生成模型在高风险场景里可以只在最终输出上满足不可违反的硬约束,而不必让生成过程的每一步都可行,输出质量因此不再被全程约束压住。 此前的投影式采样在生成过程中反复把中间样本强制拉回满足严格要求的区域,全程约束会阻止模型到达更好的最终解,而且通常只盯着约束满足,放弃缩短机器人轨迹长度这类其他质量目标。 在机器人操作、迷宫导航和文本引导图像编辑实验中,HardFlow 实现完全约束满足,并在解的质量指标上持续优于基线方法;例如机械臂避开障碍的同时找到通往目标物体的最快路径,而多数其他方法要么发生碰撞,要么路径耗时明显更长。

方法把带硬约束的采样当作一条待优化的轨迹来处理,用最优控制的工具沿路做细微修正,把约束留到终点兑现。 直接在一个含数百个互联层的大型神经网络周围求解轨迹优化问题并不容易,因此需要利用流匹配模型的结构把问题拆开。 HardFlow 利用流匹配模型的结构,把轨迹优化分解为一串更小的单步子问题,再施加系统性的变换与近似,得到一个高效、可扩展、仍能找到可行解的算法,可在部署阶段运行。

启示与展望

演示范围限于机器人操作、迷宫导航和文本引导图像编辑三类实验,方法作用于预训练生成模型的部署阶段,不需要重新训练。研究者提出未来可把框架扩展到模型本身也能更新的情形,使约束满足与样本质量以更自适应的方式改进。

材料称 HardFlow 在实验中达到完全约束满足并持续优于基线,但未给出具体指标数值;计算时间只表述为与多数竞争方法相当或更低,未逐项列出。扩展到模型本身可更新的情形仍是研究者提出的未来方向,尚未验证。