跳到主要内容
检索

# 视觉语言模型引导的注视目标选择

1 篇关联报道

订阅更新
  1. arXiv

    人形脸机器人不再靠固定规则看人:眼动交给Transformer-VAE,两秒基准上七关节误差低于规则控制器

    人形脸机器人的注视控制被拆成两件事:视觉语言模型异步挑选场景中的注视对象,Realistic Gaze Transformer 负责把目标眼动轨迹变成协调的颈部、双眼和眼睑动作。该模型是在无标记人体记录上训练的 Transformer-VAE,先自监督预训练,再用自回归微调让训练包含模型自己的预测。在两秒闭环基准上,所有控制器接收同一真值眼目标,RGT-Base 取得所报告的最低七关节误差,推理在 16.7 毫秒帧间隔内完成。

已读完全部报道