跳到主要内容
返回时间线
MIT News - Artificial intelligence来源发表:

机器人记忆会认错东西:UQ-DAAAM 用多视角不确定性把描述改对,精度提升 5%

核心概要

机器人把走廊里的除颤器记成灭火器,这类错误描述过去会一直留在记忆里。MIT 研究团队在原有 DAAAM 记忆系统上加入不确定性量化,让机器人比较同一物体在不同视角下的描述,判断自己对所见之物有多不确定,再挑选额外视角把描述融合得更准确。在对比基线方法时,该系统把物体描述准确率提高了 5%,并以每个物体仅两张额外描述解决了约 92% 物体的歧义。

Source-provided article image: Clearing up a robot’s fuzzy memory
Massachusetts Institute of Technology

深度剖析

机器人对场景中物体的记忆描述现在可以被系统自己判定为不可靠并当场改写,而不必带着错误标签继续执行任务。 此前的 DAAAM 记忆系统用视觉语言模型为机载相机拍到的物体生成详细描述并存入三维地图,但物体只被部分看到、距离过远或图像模糊昏暗时,描述可能出错,且没有自我纠正的途径。 与基线方法相比,UQ-DAAAM 提高了机器人对物体、物体位置以及何时见过该物体等问题的回答准确率,并把物体描述准确率提升了 5%。

这套系统把“我有多确定”变成一个可比较的数值,超过阈值就回头补看。 它先计算视觉语言模型对自己生成描述用词的置信度,再把这些描述与同一物体其他视角的描述比对一致性,两路不确定性被合成一个数。 当这个数超过设定阈值时,系统按一条简单规则挑选能最大程度降低不确定性的额外图像,并用大语言模型把这些描述融合成一条新描述,对新描述和歧义更少的描述赋予更高权重。

挑选额外视角这一步不需要重跑视觉语言模型,因此可以在移动中的机器人上实时完成。 研究团队用数学证明说明,这条启发式规则能够找出最佳帧,而无需重新运行视觉语言模型,从而大幅减少计算量。 整个不确定性量化流程在移动机器人上以不到一秒的时间运行,使机器人能在行进中持续更新不确定的记忆条目。

启示与展望

报道展示的是 MIT 研究团队在移动机器人上运行 UQ-DAAAM、边行进边修正物体描述的场景,结果以与基线方法的比较和每个物体两张额外描述为条件;作者下一步计划把该方法用于移动机械臂等不同类型的机器人,并把不确定性量化技术推广到其他领域。

报道称该细化步骤能解决约 92% 物体的歧义,这一比例针对机器人所处环境中的物体,并非所有场景;作者还在研究让机器人重访高不确定性区域,以及在预测环境未来状态的系统中使用不确定性量化。