跳到主要内容
返回时间线
arXiv来源发表:

视觉推理不再每次重写程序:把可执行技能存下来,适用输入直接给答案

核心概要

VisualCoding把可复用的视觉程序先训练成家族级求解器,遇到适用输入直接返回其有效答案,在四个基准、69个任务家族上平均准确率比最强基线高4.45个百分点。

Source-provided article image: VisualCoding: Learning Executable Skills for Reliable Visual Reasoning
arXiv

深度剖析

视觉推理智能体不再每次从零实现或调用一套过程,而是把已经学到的可复用视觉程序直接拿来用,在适用输入上返回程序给出的答案。 此前学习可复用技能的做法,仍然要求智能体自己实现或调用某个过程并产出最终答案,这些步骤上的错误和幻觉会让已获得的经验难以转化为稳定的单次运行表现。 在四个模型、四个基准、共69个任务家族上评估,VisualCoding的平均准确率比所评估的最强基线在Gemini-3.1-Pro上高4.45个百分点,把冻结的Pro阶段产物交给Flash-Lite复用时高14.78个百分点。

这套做法分两步:先把视觉原语和额外代码组合成家族级求解器,再让保留下来的求解器在适用范围内直接给出答案。 执行引导的程序获取在带标签的训练实例上反复测试并修订这些求解器,范围感知的直接执行则运行保留下来的求解器并返回其有效的范围内答案。 消融实验支持执行引导的获取方式,并显示直接执行优于对同一批程序做文本式或可调用式复用。

启示与展望

报道依据的是摘要级材料,覆盖四个模型、四个基准、69个任务家族的评估,以及执行引导获取和直接执行的消融。适合关注视觉推理智能体与可复用技能的研究人员和工程师阅读。代码发布在 https://github.com/jiaq-liu/VisualCoding。

摘要只说明直接执行返回其有效的范围内答案,未说明范围之外输入如何处理。消融支持执行引导的获取,并显示直接执行优于文本式或可调用式复用,但未给出各基准的逐项结果。