跳到主要内容
返回时间线
arXiv来源发表:

生成模型能否当模拟器用:奥赛罗里改状态就变,连续圆盘世界里探针失灵、逆映射却管用

导语

生成模型能否像模拟器一样被编辑状态,取决于环境:在奥赛罗中可编辑性随规则简化平滑下降,在连续圆盘世界 Rayworld 中探针无法沿状态操控,逆映射却仍能把模型设定到该状态。

Source-provided article image: When Generative Models Act as Simulators
Figure 1 · arXiv · 第 1 页

正文

生成模型能否充当模拟器,被归结为一个可检验的性质:可编辑性,即改动模型的隐表示后,下一步输出是否等同于改动模拟器状态后得到的输出。 模拟器用一份可读可改的状态概括环境,而生成模型虽能从观测中学到世界的表示,却没有内建的编辑状态方式。 研究在两类环境上检验这一点:离散的棋盘游戏奥赛罗,以及自建的连续世界 Rayworld,后者由移动圆盘构成、只呈现部分渲染,更接近物理场景与视频。

把模型隐状态与模拟器状态对应起来的两条路径表现不同,且哪种成功强烈依赖环境,尽管在每种变体里状态都能被解码出来。 一条路径是先训练探针从模型中解码出模拟器状态,再沿探针方向操控;另一条是直接用逆映射学习这一对应,它在操控失败之处仍可能成功。 在奥赛罗中,可编辑性随游戏被简化而平滑下降,连很小的规则改动也会带来很大后果;在 Rayworld 中,探针无法沿模拟器的连续状态操控,逆映射却仍能依据该状态设定模型。

接下来

报告依据的是摘要级材料,覆盖奥赛罗与 Rayworld 两个环境中的可编辑性实验,以及探针操控与逆映射两类映射。适合关注生成模型表示与模拟器状态对应关系的研究人员和工程师阅读。材料未提出下一步实验计划。

材料以摘要形式呈现,未给出可编辑性的具体度量数值、模型规模或训练细节。可编辑性随奥赛罗规则简化平滑下降、小规则改动后果很大,以及 Rayworld 中探针失败而逆映射成功,都是报告中的表述,其适用范围限于所研究的这两个环境。

来源