USDCraft 让预训练 LLM 依据部分几何证据编写可执行程序，重建带关节 3D 资产并在真机操作中把仿真到现实的性能损失控制在 10 个百分点内

提出把带关节资产重建表述为以部分几何证据为基础的程序化建模，由预训练 LLM 在无任务特定训练条件下求解，程序中的部件、关节与物理属性以显式参数定义，因此检查中发现的偏差可通过局部编辑修正，并可引入源网格从未观测到的部件与连接。 此前的网格分割方法只能划分给定表面，融合部件保持合并、缺失部件无法补出；仅凭图像的程序化生成方法缺少目标实例的测量，尺寸与部件位置难以对齐。USDCraft 把测量几何同时用于程序构建与修订，同时保留重建缺失几何与分离融合部件的自由度。 在 USDCraft-bench 上，USDCraft–Sol 与 USDCraft–Astra 在全部指标上优于 ArtLLM、SIMART、Particulate 与 Articraft 四个基线；USDCraft–Astra 结果为三次运行均值，其波动远小于与基线的差距。

源几何分析把源网格转成紧凑的度量文本表示：在共享度量坐标系中按规则网格采样表面支撑，序列化为沿垂直轴的轴向切片图，并附上边界、凸起、开口与已观测内部配件的局部度量摘要；网格之外的单元标记为未知而非空或实。 渲染视图丢失度量尺度并隐藏内部结构，原始顶点或点列表超出上下文预算；把未知与空/实区分开，使不完整扫描中的孔洞不被当作自由空间、闭合外壳内部不被当作实体材料，代理可依据图像与物体功能补全这些区域。 消融显示源几何分析带来仅次于撰写工具链的增益，移除它造成部件恢复、几何重叠与关节精度的最大下降，因为后续复核能纠正候选但无法提供规划所需的测量。

迭代几何复核把候选在源网格上重新编码，返回源覆盖率与两个差异集合：候选缺失的已观测源表面作为纠错信号，源未知处的差异作为待用图像与物体功能解决的开放问题；进一步用六个轴向的首表面图与选定区域的首表面深度比较，把差异分解为中位偏移与去除偏移后残差的 90 分位数，分别指示前后位移与形状差异。 覆盖率本身无法区分部件错位与形状错误，而两者需要不同编辑；该分解让代理能把差异追溯到产生它的程序片段，并在每次修订后重新编译、复核受影响几何。 论文给出的示例中，某手柄的中位偏移仅 0.64 mm 而形状差异为 3.41 mm，据此判断需要修改轮廓而非位置；消融显示迭代复核主要改善几何保真度与关节放置。

在真实到仿真到真实的操作测试中，用 USDCraft 资产训练的策略在开抽屉、按烤面包机压杆、开烤面包机开关三项任务上仿真到现实的性能损失最多 10 个百分点，而仅凭图像构建的 Articraft 损失 60–80 个百分点，Mini Workflow 表现波动较大。 策略从资产中学习抓取与推动位置，仿真中错位或尺寸错误的把手、压杆或开关会把真实机器人引向错误位置；结构完整性先于几何精度，Particulate 的不完整重建只能支持压杆任务。 每个支持所需交互的方法–任务设置收集 200 条仿真演示，以批大小 128 训练 Diffusion Policy 80 轮，在 20 次仿真与 20 次真实试验中评估，物体位置与初始机器人构型随机化。

该工作面向需要仿真就绪带关节资产的机器人学习与真实到仿真到真实迁移场景，输入为源网格、参考图像与可选文本请求，输出为可编译为带刚体部件、按类型/轴/原点/限位定义关节以及质量与接触摩擦等物理参数的 USD 资产，可直接载入 Isaac Sim 而无需手动调整。撰写工具链同时支持无源网格的文本或图像条件生成，据此产出覆盖 500 多个日常类别的 USDCraft-10k 资产库。评估覆盖 USDCraft-bench 的 60 个代理生成资产与 40 对象扩展、Lightwheel 的 243 个人工建模带关节物体，以及抽屉、烤面包机与盒子的真实操作场景。+G 设置表明用户可用纯文本描述关节约定来引导部件与关节定义，无需重训练或改动方法。

细格结构如球拍弦与购物车线框仍难以忠实重建，其紧密排列的构件需要准确的局部几何与一致的连通性；柔性构件目前只能标注并构建静止几何，其在 Isaac Sim 中的弯曲、拉伸与接触响应尚未验证，伞面张力与刚柔耦合也未建模。生成质量评估采用模型评判，部分配置仅单次运行，跨运行稳定性只在 Astra 配置上以三次重复报告。基准参考标注由 P3-SAM 初始分割后人工合并与标注，源排除比较显示结论不依赖 USDCraft 生成参考或代理生成参考，但标注流程本身的影响仍是开放问题。绝对尺度在参考坐标系评估中保留，图像条件方法在该设置下分数明显下降，提示尺度假设对部署的影响值得关注。