Hacker News来源发表:
不用出声也能对电脑说话:Subvocal 把射频信号送进嘴里,读出默念的口型
核心概要
Subvocal 公司把无声语音输入从贴脸电极换成射频传感:眼镜向面部发射类似蓝牙的无线电波,电波穿过舌头、嘴唇和软腭时被默念口型调制,模型再把扰动解码成文字。团队称此前贴电极方案受汗液、电干扰和佩戴位置影响,而不同人脸解剖结构差异大,最终靠扩大预训练数据改善跨用户表现,演示者只用约20句校准。
深度剖析
无声语音输入不再需要把电极贴在脸上,而是由一副眼镜用射频波读取口腔内部的发音动作并转成文字。 团队最初在黑客松上把肌电电极贴在面部,只能在字母层面勉强工作,随后判断肌电会受汗液、电干扰和电极位置变化影响,而且没人愿意在脸上贴电极。 改用射频后,团队先确认存在可用信号,再在办公室搭台付费请人戴眼镜朗读提示语,用这些数据预训练模型,得到随数据量增加误差快速下降的缩放曲线。
系统靠无线电波穿过面部时被发音器官调制来获取信息,再由在采集数据上训练的基础模型把扰动解码为文本。 这条路线需要极低噪声的射频接收链路,并要让天线场与舌头、嘴唇、软腭等发音器官最大程度重叠;最初装在眼镜上的尝试完全失败,团队一度把天线贴在脸上、再用头架固定。 团队在仿真中设计出能把天线嵌入镜框的眼镜,并在演示视频中让一位只做过约20句校准的使用者完成使用。
启示与展望
目前展示的是原型眼镜在办公室采集数据和一段演示视频中的使用,其中一位使用者只做了约20句校准;团队表示未来数月继续研发,把原型推进为产品。
团队称跨用户表现已“真正有说服力”,但这一判断来自自建数据上的缩放曲线和演示视频,材料未给出具体误差指标或独立评测;默念口型需要练习,团队也承认这种动作有些别扭。
