软体抓取有了六模态数据集：冻结编码器在独立抓取结果集上后验分类达94.59%
核心概要
软体机器人抓取缺少同时协调视觉、深度、触觉、惯性测量与文本的多模态数据，且现有对齐方法对所有模态对使用同一强度。SomaAlign 先用掩码重建估计各模态的相对可靠性，再据此为每一对模态设定不同的对比温度，并在第三阶段用冲突感知约束收紧样本内跨模态一致性。在 Soma 数据集上，30 个有向跨模态检索任务的平均 Recall@10 为 90.66%；在独立采集、未参与表征学习的 Soma-Success 上，冻结编码器加轻量探针的后验抓取结果分类准确率为 94.59%。
深度剖析
软体抓取的多模态表征学习现在有了配套的数据与对齐流程：一套按采集周期对齐的六模态抓取数据集，以及一个按模态可靠性调节对齐强度的训练框架。 此前的视触觉数据集多来自刚性末端执行器或特定光学触觉传感器，接触形变与噪声分布相对受限，也没有独立采集的抓取结果集用于检验冻结编码器能否复用。 Soma 包含 100 个物体、1000 条连续抓取轨迹和 74914 个按采集周期对齐的样本，覆盖远程 RGB、手部 RGB、深度、触觉压力、IMU 与结构化文本；Soma-Success 独立采集 1000 次试验，质控后保留 998 次，其中成功 600 次、失败 398 次。
对齐强度不再对所有模态对一视同仁，触觉与惯性这类易受振动干扰的通道被允许以更宽松的方式对齐。 常规多模态对比学习对所有模态对使用同一温度，可能过度约束噪声大的模态对，同时没有充分利用较稳定的视觉观测。 在固定的 500 样本测试子集上，SomaAlign 的 Recall@1、Recall@5、Recall@10 分别为 63.04%、85.55%、90.66%，而同样初始化、同样训练预算的 Pairwise InfoNCE 为 42.00%、60.10%、65.77%，以远程 RGB 为枢纽的 Hub Alignment 为 44.55%、64.30%、70.55%。
训练分三步推进：先估计可靠性，再按可靠性调节对比温度，最后用冲突感知的几何保持项做局部细化。 可靠性来自掩码重建的难度，而不是直接的传感器噪声标注；重建越不稳定，该模态被视为越不可靠。 每对模态的温度由该对模态的复合可靠性分数单调映射得到，可靠的对获得更小的温度、更尖锐的相似度分布；第三阶段以第二阶段冻结的参考中心为锚，只在中心漂移超过尺度自适应容差时施加保护。
学到的表征可以迁移到未参与训练的抓取结果判断，并且只保留模态编码器用于推理。 Soma-Success 在表征学习中被完全排除，探针按物体身份分组做五折交叉验证，每个试验的预测都来自没见过该物体的探针。 冻结编码器加 MLP 探针的后验分类准确率为 94.59%，线性探针为 93.18%；仅用抓取前与抓取中两个快照做早期预测时，线性探针为 83.07%，MLP 探针为 84.07%，而 Hub Alignment 的 MLP 早期预测为 86.48%。
启示与展望
结论建立在两种气动软体夹爪配置、100 个日常物体与结构化模板文本之上，下游复用通过冻结编码器加轻量监督探针在 Soma-Success 上评估。
可靠性分数是重建难度的代理量，并非物理传感器噪声的直接测量；结构化文本标注语义一致但语言多样性有限；Soma-Success 展示的是轻量监督探针下的冻结编码器复用，而非零样本泛化，早期预测表现还随探针结构变化。