arXiv 2026年4月8日该工作提出 UI-in-the-Loop（UILoop）范式，把 GUI 推理建模为循环的“屏幕—UI 元素—动作”过程，让多模态大语言模型显式学习关键 UI 元素的定位、语义功能与实际用法，从而实现精确的元素发现与可解释推理；同时提出以 UI 元素为中心的 UI Comprehension 任务及三项评价指标，并贡献 26K 样本的 UI Comprehension-Bench，实验显示 UILoop 在 UI 理解上达到最优，并在 GUI 推理任务上取得更优结果。该工作提出 UI-in-the-Loop（UILoop）范式，把 GUI 推理建模为循环的“屏幕—UI 元素—动作”过程，让多模态大语言模型显式学习关键 UI 元素的定位、语义功能与实际用法，从而实现精确的元素发现与可解释推理；同时提出以 UI 元素为中心的 UI Comprehension 任务及三项评价指标，并贡献 26K 样本的 UI Comprehension-Bench，实验显示 UILoop 在 UI 理解上达到最优，并在 GUI 推理任务上取得更优结果。UILoop 将 GUI 推理改为屏幕—UI 元素—动作循环，并发布 26K 样本 UI Comprehension-Bench，在 UI 理解与 GUI 推理上取得最优结果该工作提出 UI-in-the-Loop（UILoop）范式，把 GUI 推理建模为循环的“屏幕—UI 元素—动作”过程，让多模态大语言模型显式学习关键 UI 元素的定位、语义功能与实际用法，从而实现精确的元素发现与可解释推理；同时提出以 UI 元素为中心的 UI Comprehension 任务及三项评价指标，并贡献 26K 样本的 UI Comprehension-Bench，实验显示 UILoop 在 UI 理解上达到最优，并在 GUI 推理任务上取得更优结果。该工作提出 UI-in-the-Loop（UILoop）范式，把 GUI 推理建模为循环的“屏幕—UI 元素—动作”过程，让多模态大语言模型显式学习关键 UI 元素的定位、语义功能与实际用法，从而实现精确的元素发现与可解释推理；同时提出以 UI 元素为中心的 UI Comprehension 任务及三项评价指标，并贡献 26K 样本的 UI Comprehension-Bench，实验显示 UILoop 在 UI 理解上达到最优，并在 GUI 推理任务上取得更优结果。