人形脸机器人不再靠固定规则看人:眼动交给Transformer-VAE,两秒基准上七关节误差低于规则控制器
人形脸机器人的注视控制被拆成两件事:视觉语言模型异步挑选场景中的注视对象,Realistic Gaze Transformer 负责把目标眼动轨迹变成协调的颈部、双眼和眼睑动作。该模型是在无标记人体记录上训练的 Transformer-VAE,先自监督预训练,再用自回归微调让训练包含模型自己的预测。在两秒闭环基准上,所有控制器接收同一真值眼目标,RGT-Base 取得所报告的最低七关节误差,推理在 16.7 毫秒帧间隔内完成。