跳到主要内容
返回时间线
arXiv来源发表:

MeshQuery 用免训练 VLM 智能体规划 UV 接缝,在 Substance 3D 与 Toys4K 上比最强基线减少 2.9x/4.29x 图表数、缩短 1.63x/1.7x 接缝长度,艺术家 80.9% 偏好其结果

相关研究与后续进展

核心概要

MeshQuery 提出一种免训练的智能体式自动 UV 展开方法,让视觉语言模型借助边选择工具、可查询网格表示与领域特定语言,在自然语言表达的 UV 展开知识条件下规划贴近艺术家的接缝,并通过 UV 质量反馈循环迭代优化,在 Adobe Substance 3D 与 Toys4K 网格上相比最强基线产生 2.9x/4.29x 更少的图表和 1.63x/1.7x 更短的接缝,专业艺术家在 80.9% 的对比中更偏好其结果。

Source-provided article image: MeshQuery: Agentic Seam Planning for UV Parametrization
Figure 1 ·

Figure 1: MeshQuery generates artist-aligned UV seams. Conversely to hand-crafted geometric optimization, MeshQuery enables a VLM agent to plan seams the way an artist does: it iteratively refines seams expressed as programs in a Domain-Specific Language (DSL), based on unwrapping feedback and on the mesh’s geometric, topological, semantic attributes, and downstream needs.

arXiv

深度剖析

提出免训练的智能体式 UV 展开流程:由视觉语言模型在自然语言表达的领域 UV 展开知识条件下,使用一组边选择工具规划接缝,并通过反馈循环进行精化。 与依赖训练或自回归接缝预测的路线不同,该方法把高层意图规划与低层边选择解耦,无需训练即可运行。 摘要明确说明方法为 training-free,并描述了 VLM 规划、边选择工具集、自然语言领域知识与反馈循环等组成要素。

设计可查询网格表示与领域特定语言(DSL),使智能体能够按需检索网格信息,并把接缝计划表达为作用于拓扑、几何与语义网格属性的紧凑边选择算子程序,再依据 UV 质量反馈迭代精化。 接缝计划从逐边预测变为紧凑程序,配合按需查询的网格表示,使规划过程可表达、可迭代。 摘要直接陈述了可查询网格表示、DSL、边选择算子程序以及基于 UV 质量反馈的迭代精化。

在 Adobe Substance 3D 与 Toys4K 网格上,MeshQuery 相比最强基线产生 2.9x/4.29x 更少的图表和 1.63x/1.7x 更短的接缝,专业艺术家在 80.9% 的对比中更偏好其结果。 给出了与最强基线的定量对比以及专业艺术家偏好比例,覆盖两个数据集。 摘要报告了具体倍数与 80.9% 的艺术家偏好比例,但未在摘要中给出样本量、评分协议或统计检验细节。

解耦高层意图规划与低层边选择、并采用紧凑网格表示,使 MeshQuery 可运行于不同的后端 VLM,并可扩展到比自回归接缝预测大一个数量级的网格。 方法的后端可替换性与规模可扩展性被作为设计结果提出,指向比自回归接缝预测更大的网格处理范围。 摘要以“Ultimately”陈述该结论,属于作者对设计解耦带来能力的总结性表述。

启示与展望

该工作面向生产级四边形网格的自动 UV 展开,适用于需要接缝规划与 UV 布局的图形内容制作场景,其设定是让 VLM 在自然语言表达的 UV 展开领域知识条件下、借助边选择工具与可查询网格表示进行规划,并通过 UV 质量反馈迭代精化。摘要所述评估覆盖 Adobe Substance 3D 与 Toys4K 网格,并与最强基线比较图表数与接缝长度,同时以专业艺术家偏好作为评价维度。方法被描述为免训练,且可运行于不同后端 VLM,并可扩展到比自回归接缝预测大一个数量级的网格,这为把该流程接入不同模型后端与更大规模资产提供了空间。

可见文本为摘要级信息,未提供样本量、艺术家评分协议、统计检验、失败案例或不同后端 VLM 的具体对比结果,因此 2.9x/4.29x 图表数、1.63x/1.7x 接缝长度与 80.9% 偏好比例背后的分布与稳健性仍是开放问题。可查询网格表示与 DSL 的表达能力边界、反馈循环的收敛行为、以及“大一个数量级”网格上的实际表现,也需要在正文中进一步确认。此外,摘要未说明该方法在非四边形网格或非生产级资产上的适用性。

来源