跳到主要内容
返回时间线
arXiv来源发表:

3D高斯泼溅研究不再靠人写代码:SplatLab从一行提示跑到成稿,每篇都超过复现基线

核心概要

SplatLab把3D高斯泼溅(3DGS)的科研循环交给36个智能体:先复现已发表基线,再在已验证插件上做变异、训练、消融并写成稿件,每个数字都绑定一次有日志的GPU训练。在Mip-NeRF 360与LLFF上,它生成的稿件在PSNR上均超过各自复现的目标;在无既有3DGS方法的星云渲染上,Nebula3DGS-v2把PSNR从3DGS基线的32.58 dB提到36.36 dB。

AI-generated editorial illustration: SplatLab: Autonomous Scientific Discovery for 3DGS Research

深度剖析

3DGS方向的论文复现与扩展不再完全依赖研究生的手工工程,一条研究提示、一个目标论文链接,甚至不给输入,都能启动从复现到成稿的完整流程。 此前自主科研系统在短LaTeX模板上编辑、在短训练上排序自由文本假设,或建立在未经外部核对的LLM重写代码之上;在20篇ICML 2024 Spotlight与Oral论文上,最强被测智能体的平均复现率只有21.0%。 16次运行共训练198条实验分支,得到5项已验证正结果、5项带适当限定表述的边缘结果、5项非PSNR贡献和1次记录在案的失败;每次运行使用24–48小时墙钟预算,平均约113M API token、约1000–1500次LLM调用,GPU消耗2–36 GPU小时。

候选方案不是从零写代码,而是改动一个已经能编译、能训练、并达到目标论文头条指标的插件,因此性能提升可以归到所提机制上。 没有已验证复现时,改进声明缺少固定的外部参照,报告指标未必能追溯到磁盘上的测量,长时运行的智能体还会随上下文填满而偏离目标。 消融中,去掉已验证插件契约后16个获胜方案里有9个不可复现,保留契约时为0/16;在Mip-NeRF 360与LLFF的8组配对中,生成方法在PSNR上全部超过基线,最大增益出现在此前没有3DGS方法的星云场景。

想法排序由真实GPU上测得的PSNR决定,而不是由模型对提案文本的打分决定。 此前的Elo式排序针对自由文本假设,且评分更新不随评估深度缩放。 候选依次经过smoke、probe、多场景和全基准四级,Elo更新按级加权;消融中去掉级联权重后,smoke测试的赢家在多场景上只排第5,保留时选中的是多场景领先者。

稿件里的每个数字都必须对应一次有日志的训练,审计不通过则整次运行以研究日志形式中止。 此前的自动写作流程允许草稿留下没有测量支撑的数字。 消融中,去掉claim-backed审计门后16篇稿件全部含有无法追溯到磁盘日志的数字,完整流程下为0/16。

启示与展望

演示范围限于3D高斯泼溅:标准基准为Mip-NeRF 360与LLFF,训练统一为30k迭代、NVIDIA A6000,另加星云、气泡、钻石三个为本工作采集的分布外场景。适合关注自主科研系统与神经渲染的研究者阅读;原文把跨领域迁移与领域分类体系的适配列为需要专家投入的环节。

原文说明这些实验意在展示端到端运行下的系统能力,而非等预算的搜索比较;分类体系消融只在星云一个目标上比较,作者据此称领域接地改善搜索效率而非执行的必要条件。人类评审对前五篇生成论文给出总体3.5(临界),低于2025年CVPR/NeurIPS已发表论文的4.1,而多智能体评审给出3.6对3.5。