跳到主要内容
返回时间线
arXiv来源发表:

专业动作视频编辑不再只靠一句指令:智能体先找示范再自检,Stoppie 不再被编成 Wheelie

核心概要

专业动作视频编辑改由智能体先检索并自检示范片段,再连同落地提示交给冻结的编辑模型;在314项专业动作任务上,Seedance 2.0 的总分从55.1升到65.6,MiniMax-H3 从51.2升到64.5。

Source-provided article image: MotionCoach: Constructing Multimodal Guidance for Video Professional Motion Editing
Figure 1 · arXiv

深度剖析

专业动作视频编辑现在可以不改动编辑模型本身,只靠外部构造的多模态引导来完成。 此前编辑模型只拿到动作名称这类简短指令,缺少动作技法与时间结构的说明,遇到 Stoppie 会生成成 Wheelie,把支撑关系弄反。 在 VPMEBench 的314项专业动作编辑任务上,冻结的 Seedance 2.0 总分由55.1升到65.6,冻结的 MiniMax-H3 由51.2升到64.5,满分100。

引导由智能体自己找、自己剪、自己核对,最后写成一段落地提示并配一段参考片段。 标准任务设定默认合适的参考已经存在,把引导的获取与验证留在任务之外;只靠检索相关性也不保证引导可靠。 智能体用 search、inspect、clip 三个工具做多轮调用,并对剪出的片段自检动作是否正确、可见、完整,不合格就重剪或换候选;训练数据为 MotionCoach-SFT-10k 与 MotionCoach-RL-2k,评测集为覆盖舞蹈、运动、武术25个细类、314项任务的 VPMEBench。

启示与展望

报道覆盖的是专业动作视频编辑这一设定:输入一段源视频和一句简短编辑指令,输出经编辑的视频,编辑模型保持冻结。适用读者是研究视频编辑与多模态智能体的研究人员和工程师,评测场景为 VPMEBench 中舞蹈、运动、武术三类共314项任务。下一步在原文中被明确提出的是把该引导构造用于训练数据与评测集之外的动作词,原文报告智能体在这些未见动作上自行收集领域知识来引导编辑。

原文报告在复杂地形下 G-turn 转向半径不足、动作不完整,髋部旋转这类细微局部关节动作仍难以准确完成。自动评测与人工判断的一致性用二次加权 kappa 衡量,总体为0.846,各维度均高于0.73,并给出95%置信区间。