Cheng Yang

AutoGUIWorld 提出一个数据生成框架，把图像生成器的视觉先验与规划器的任务知识结合，在不部署或运行对应软件环境的情况下合成 GUI 交互轨迹：它从操作系统上下文、视觉外观与界面状态的结构化规格中采样初始界面，据此生成任务，由规划器给出原子动作及其预期视觉后果，再由图像生成器迭代编辑当前截图产生后续观测，经动作定位与转移级质量过滤后得到跨 Ubuntu、Windows、macOS 与 Chrome 的 79,266 条带空间标注的步级训练样本，用其微调 Qwen3.5-35B-A3B 后 OSWorld 平均任务分从 33.0% 提升到 40.8%，ScienceBoard 任务成功率从 14.0% 提升到 32.2%。

AutoGUIWorld 提出一个数据生成框架，把图像生成器的视觉先验与规划器的任务知识结合，在不部署或运行对应软件环境的情况下合成 GUI 交互轨迹：它从操作系统上下文、视觉外观与界面状态的结构化规格中采样初始界面，据此生成任务，由规划器给出原子动作及其预期视觉后果，再由图像生成器迭代编辑当前截图产生后续观测，经动作定位与转移级质量过滤后得到跨 Ubuntu、Windows、macOS 与 Chrome 的 79,266 条带空间标注的步级训练样本，用其微调 Qwen3.5-35B-A3B 后 OSWorld 平均任务分从 33.0% 提升到 40.8%，ScienceBoard 任务成功率从 14.0% 提升到 32.2%。