跳到主要内容
返回时间线
Nature来源发表:

‘多功能’脑植入体实时翻译言语与手势

核心概要

《自然》新闻报道介绍了一项发表于《自然·神经科学》的概念验证研究:研究团队用一枚覆盖感觉运动皮层较大面积的253电极植入阵列,结合人工智能,在两名因脑干卒中或肌萎缩侧索硬化而丧失言语与运动能力的参与者身上,同时解码其尝试说出的短语与尝试或想象做出的手势,并在用户意图出现后数秒内输出屏幕文字并驱动个性化动画化身动作,从而首次在同一植入体上同时翻译言语与非言语两种沟通方式。

Source-provided article image: 'Multifunctional' brain implant translates speech and gestures in real time.

Brain–computer interfaces decode users’ brain signals. Credit: Kevin Frayer/Getty

PubMed

深度剖析

同一枚植入体可同时读取与言语和身体动作相关的脑信号,并同时输出文字与化身动作。 此前多数脑机接口研究一次只恢复一种功能,如说话、控制光标或机械臂;该工作把言语与非言语沟通放在同一系统内并行处理。 属于概念验证,样本为两名参与者,设备为手术植入的253电极皮层表面阵列,覆盖感觉运动皮层较大区域。

研究给出了同时解码言语与手势的可行路径,尽管两类任务的神经信号存在重叠,且同时说话并做手势时的活动模式与单独说话或单独做手势时略有不同。 把‘信号重叠’这一解码难点作为设计对象,通过覆盖较广的皮层区域同时捕捉言语与身体动作相关信号。 证据来自两名参与者在尝试说话、尝试或想象手势以及两者结合(如‘你好’配挥手、‘是’配点头)时的神经活动记录。

系统在用户意图出现后数秒内完成转换,并用人工智能把电生理活动转成屏幕文字、驱动个性化动画化身。 把实时性与多模态输出结合在同一流程中,而非仅做离线分类或单一模态输出。 报道描述为‘within seconds of the user’s intent’,属于系统层面的概念验证结果,未在文中给出量化准确率或延迟数值。

两名参与者覆盖了不同的病因与残余能力:一人为脑干卒中后言语与运动受损,被要求默念五个短语并尝试挥手、点头、握手、拍手;另一人为肌萎缩侧索硬化导致进行性言语瘫痪与运动障碍,研究时仍能用电脑和手机打字,被要求发声说出十个短语并想象做十个手势(如耸肩、竖拇指),除面部肌肉外不移动身体。 把不同损伤类型与不同残余沟通能力的用户纳入同一解码框架,提示该思路可能适用于异质性人群。 样本量为两人,任务为研究者指定的短语与手势集合,属于早期可行性证据。

启示与展望

该结果面向因脑干卒中或肌萎缩侧索硬化等导致严重言语与运动障碍的人群,在受控的研究场景中、使用手术植入的253电极皮层表面阵列、针对研究者设定的短语与手势集合进行验证;它展示的是同一植入体同时处理言语与非言语沟通的可行性,而非可直接日常使用的成品。

报道未提供解码准确率、延迟的具体数值、训练数据规模、随访时长或与单模态系统的直接对照,也未说明手势集合之外更开放表达的可扩展性;此外,本文为新闻稿而非论文全文,图表与补充材料未加载,因此上述量化问题仍是读者需要留意的开放问题。

来源