LoopVL 用共享参数循环 128 层,在 MMStar 上把 1B 骨干从 55.33 提到 63.47,并观察到跨循环的 Visual Aha Moment
作者提出 LoopVL,把循环 Transformer 扩展到视觉语言模型:语言骨干基于 HRM-Text 开源框架与数据自行预训练,采用 Module-Loop 与 Model-Loop 嵌套的 H/L 共享参数结构,默认 H2L3 配置下一次前向执行 128 次 Transformer 层调用;在相同 0.14T token 训练预算下,LoopVL 在 MMStar、RealWorldQA、ChartQA 等基准上超过同层数的 Transformer-VL 1B,并接近或超过更大的 4B 稠密基线,同时作者报告了跨模型循环的视觉注意力重分配现象,称为 Visual Aha Moment。