不用弯折传感器也能给手指打标签：Freebie 多相机实时追踪，端到端延迟中位数约16毫秒
核心概要
非人灵长类的手指运动标签长期依赖带弯折传感器的机械手柄，这类装置限制了可测运动的维度。Freebie 用多台同步相机和实时姿态估计直接输出手指关键点，在30 FPS与60 FPS采集下分别取得15.8毫秒和16.2毫秒的端到端延迟中位数，其关键点与弯折传感器的中位相关系数绝对值为0.96。用Freebie标签训练的肌电解码器在闭环控制中与用弯折传感器标签训练的版本表现相当，说明训练解码器未必需要给手部加装传感器。
深度剖析
非人灵长类的手部运动学标签现在可以由多相机无标记追踪实时产生，并直接驱动虚拟手或作为解码器训练标签，而不必依赖带弯折传感器的机械手柄。 此前这类研究几乎都用低自由度的受限装置记录运动学，例如固定手部位置、只追踪一到两个手指组的弯折传感器手柄，可测运动的维度因此受限。 在猴子R的24次手部控制运行中，Freebie的PIP纵坐标信号与同步采集的弯折传感器信号中位相关系数绝对值为0.96，四分位区间0.95至0.97。
系统把相机采集、姿态推理和向实验计算机发送关键点串成一条实时流水线，关键点估计在下一帧到来之前就已送出。 Freebie以improv实时框架为后端，把采集、推理、串口输出、视频保存和显示拆成并行运行的actor，通过共享内存存储交换数据。 在32次运行共690485帧上，30 FPS的14次运行端到端延迟中位数为15.8毫秒，60 FPS的18次运行为16.2毫秒；推理占主要处理时间，运行均值14.6毫秒。
直接由Freebie关键点控制虚拟手时，六项在线指标中有五项与弯折传感器控制无显著差异，路径效率一项Freebie更高。 早期流水线用推导出的指关节角度驱动时，多数指标落后于弯折传感器控制，中位成功率0.29对0.94。 比较基于猴子R的9次Freebie运行与15次弯折传感器运行，成功率中位数0.97对0.99，路径效率0.67对0.52，后者p=0.005。
启示与展望
演示范围限于两只恒河猴在头部固定、手臂约束条件下完成的一自由度与双自由度手指目标获取任务，主文结果来自猴子R的单相机配置，猴子N使用较早的双相机版本；自由行为与功能性电刺激表征中的三维追踪属于扩展演示。
闭环解码器比较每组只有4次运行，猴子N的数据来自不同版本的系统、任务和装置；所有闭环解码器映射的是前臂肌电而非皮层活动，皮层解码器对标签噪声的敏感性仍待检验；端到端延迟从相机回调计到数据包发送，不含曝光、读出与传输以及到显示器的间隔，猴子实际经历的延迟可能更长。