人形脸机器人不再靠固定规则看人：眼动交给Transformer-VAE，两秒基准上七关节误差低于规则控制器
核心概要
人形脸机器人的注视控制被拆成两件事：视觉语言模型异步挑选场景中的注视对象，Realistic Gaze Transformer 负责把目标眼动轨迹变成协调的颈部、双眼和眼睑动作。该模型是在无标记人体记录上训练的 Transformer-VAE，先自监督预训练，再用自回归微调让训练包含模型自己的预测。在两秒闭环基准上，所有控制器接收同一真值眼目标，RGT-Base 取得所报告的最低七关节误差，推理在 16.7 毫秒帧间隔内完成。
深度剖析
人形脸机器人的注视不再由固定规则逐关节驱动，而是由一个学习到的动作模型根据目标眼动轨迹生成整头动作。 此前的眼动和头部控制器依赖手工脚本或生物启发式规则，在目标与运动风格之间的灵活性有限。 在两秒闭环基准上，所有控制器接收同一四维真值眼条件，RGT-Base 的七关节误差低于三种规则控制器以及 RNN、VAE-CNN、Flow Matching 三种学习基线。
模型把“看哪里”和“怎么动”分开：上游视觉语言模型异步选出注视对象，下游动作头只负责把目标轨迹实现为逼真动作。 视觉语言模型运行在控制频率之下，因此两次调用之间需要另一个模块维持注视。 视觉语言模型输出结构化注视对象，FastSAM 把它细化为逐帧注视点并投影到眼球坐标系，眼球轨迹生成器再展开成条件信号。
动作头是一个带潜在瓶颈的 Transformer-VAE，用自回归微调暴露于自身预测造成的分布偏移。 仅用教师强制重建训练的模型在闭环中会把生成动作写回历史，误差随之累积。 单步滑窗评估中 Flow Matching 误差最低，但在闭环基准中其误差高于 RGT，这一反转与自回归微调针对自生成历史训练相符。
启示与展望
已展示的范围是机器人关节空间的运动学保真与实时推理：在两秒闭环基准上，所有控制器接收同一真值眼目标，RGT-Base 取得所报告的最低七关节误差，推理在 16.7 毫秒帧间隔内完成。物理演示展示了目标选择与控制组件的整合运行。适合关注人机交互中注视生成与闭环动作生成的研究人员和工程师阅读。
基准给每个控制器提供同一真值眼目标，因此不衡量视觉语言模型是否选中预期对象，也不衡量遮挡下注视维持。误差表是单次随机运行，未记录评估种子与置信区间；MSE 衡量关节空间一致性，APD 衡量随机多样性，两者都不是观察者评分。六名参与者的非临床样本与无标记网络摄像头重定向限制了向非典型眼动、不同注视习惯和其他关节布局的推广，评分回放仅持续两秒。