TactileLab 用刚体仿真算出切向触觉流：灵巧手在仿真里学会转物，真机也能转
核心概要
TactileLab 把触觉仿真里的切向运动从软体形变计算中拆出来，改用刚体仿真直接生成稠密的触觉流场，与接触深度图一起作为策略输入。此前刚体触觉仿真通常只给深度类信号，难以表达剪切与滑移，而软体仿真虽能刻画形变却难以支撑大规模强化学习。在双臂跟随与灵巧手转物两类接触密集任务上，含触觉流的策略收敛更快，真机部署时深度加触觉流的策略在圆柱、圆形与方块三类物体上完成旋转最多。
深度剖析
触觉仿真多了一种不依赖软体求解的切向观测：每个触觉像素带一个二维面内位移向量，与接触深度图在空间上对齐，共同构成策略的高维触觉输入。 此前的刚体触觉仿真通常只输出深度类信号，适合判断法向接触，却难以区分深度相近而切向运动不同的接触状态；软体仿真能刻画形变，但吞吐低，难以支撑大规模强化学习。 在双臂物体跟随任务中，单独使用触觉流的策略优于单独使用接触深度，深度与流组合加快学习但最终性能与单独用流相近；在灵巧手转物任务中，深度与流组合取得最长失效时间与最低掉落率，训练分布内与分布外物体上均优于任一单独模态。
整套流程把真实触觉图像对翻译成仿真中的触觉流与深度场，使只在仿真里训练的策略能直接读取真实传感器数据。 此前的真实到仿真迁移主要处理单帧静态接触深度重建，没有把连续两帧之间的切向运动纳入同一观测空间。 在无标记 GelSight Mini、DIGIT、9DTact、带标记 GelSight Mini、平面与半球 TacTip 六种相机式触觉传感器上验证了翻译；无标记 GelSight Mini 的平移误差从 1.79 降到 0.34，无标记 9DTact 从 0.45 降到 0.35，带标记传感器本身已较准、翻译后变化较小。
策略网络 PETS-Net 把位置编码的关节角与动作历史同空间编码的触觉图像历史一起送入时间编码器，估计教师策略的隐变量。 标准自适应模块在输入为长时程本体感受历史与高维触觉历史时表征能力可能受限。 消融中所有加位置编码的变体都优于不加位置编码的版本，时间编码器比较里时间卷积网络取得最高最终奖励，且 10 帧历史后性能基本饱和。
启示与展望
演示范围限于两类接触密集任务：双臂物体跟随，以及用 Allegro Hand 与 LEAP Hand 的灵巧手转物；真机转物实验使用装四个视觉触觉指尖的 LEAP Hand，每类物体从 10 个初始抓取配置评估，单次试验上限 30 秒。真实到仿真翻译在六种相机式触觉传感器上验证，下游真机任务选用半球 TacTip。
真实到仿真翻译假设弹性体与物体保持粘着接触、形变以剪切为主；外部扰动或接触突变可能破坏这一条件并导致不可恢复状态，如何把滑移检测纳入触觉仿真仍是开放问题。触觉流本身不限于刚体仿真，也可由软体仿真中的表面点运动导出。扩展到更多物体形状需要更大的高维真实到仿真数据集与几何感知的迁移模型。