双臂机器人不用立体相机也能拿立体数据：左视图加深度扭曲补洞，透明瓶抓取从11/20升到18/20
核心概要
双臂机器人立体数据稀缺，现有大规模机器人数据集几乎都是单目单臂，而立体相机采集需要昂贵硬件和重新遥操作。StereoEngine给出两条互补路线：有真实单目视频时，用单目深度把左视图前向扭曲成右视图，再用视频扩散模型补上右视图中左相机从未观测到的遮挡区域；没有真实视频时，从仿真轨迹渲染立体对，把左右两帧拼成一帧联合生成，从而同时得到两个一致的逼真视图。在AgileX PiPER双臂平台上，用其合成数据做中期训练或任务微调，三个任务合计成功50/60，高于不做中期训练的36/60，透明瓶抓取达到18/20。
深度剖析
双臂机器人的立体训练数据可以不再依赖立体相机采集，而是从已有的单目演示中合成出来。 此前大规模机器人数据集几乎都是单目、单臂，少数带立体相机的数据集也是单臂，因此不存在大规模双臂立体数据集；按同等规模重新采集需要立体相机硬件并对每个任务重新遥操作。 在AgileX PiPER双臂平台上，用StereoEngine-L合成数据对ExStereo做中期训练后，三个任务合计成功50/60，不做中期训练为36/60，StereoCrafter为40/60，SVG为31/60；提升最大的是透明瓶抓取，达到18/20，而不做中期训练为11/20。
合成右视图的做法是把左视图按深度横向平移，再让视频扩散模型只填补平移后留下的空洞。 单目转立体的既有方法多面向VR或自动驾驶内容，且通常需要立体对来训练；基于重建的新视角合成需要多视角数据和逐场景优化，不适用于动态单视图场景。 左视图经单目视频深度模型得到逆深度，按设定的中位视差前向泼溅到右相机位置，未覆盖的像素被标记为遮挡掩码；补洞模型只在3469段无立体对的单目机器人视频上微调，训练掩码由同样的扭曲操作生成，并加入部分机械臂掩码和视差随机丢弃。
没有真实视频时，可以从仿真轨迹同时生成左右两个逼真视图，而不需要任何真实立体对应。 既有机器人视频生成方法只产生单目视频，仿真渲染又存在纹理、材质和光照与真实世界的差距。 在RoboTwin中放置第二台虚拟相机渲染真实立体对，把每帧转成Canny边缘图以去掉仿真外观，再把左右帧拼成一帧由Wan2.2-Fun-A14B-Control零样本生成；在Stack Two Bowls、Lift Two Bottles、Container Plate三个任务上，用其数据微调ExStereo分别达到11/20、13/20、15/20，而用仿真真值点云训练为0/20。
启示与展望
这套方法面向双臂操作策略的训练数据生成，在AgileX PiPER双臂平台和ZED Mini 2相机上完成真实世界验证，覆盖Stack Two Bowls、Lift Transparent Bottles、Close Door、Lift Two Bottles、Container Plate五个任务。StereoEngine-L适用于目标本体已有单目演示的情形，StereoEngine-S适用于完全没有真实视频、但能在仿真中搭建任务的情形。生成质量评估使用自建的真实立体采集对，因为机器人领域没有现成的立体基准。
视频扩散模型在透明和高反射物体上的合成质量仍会下降，可能影响生成的立体对；StereoEngine-L的几何一致性继承自单目深度估计器，深度不准会带来不一致的右视图，其补洞质量也依赖微调数据量；StereoEngine-S依赖仿真Canny边缘，相机距离更大时边缘更噪，可能降低生成视图质量。仿真真值点云训练的策略在真实任务上成功率为0，加入各向同性高斯噪声扰动也没有带来明显改善。