跳到主要内容
返回时间线
Nature News来源发表:

‘多功能’脑植入体实时翻译言语与手势

核心概要

一项概念验证研究显示,单个植入大脑皮层感觉运动区、含253个电极的阵列可同时采集与言语和身体动作相关的神经信号,并用人工智能把脑电活动实时转成屏幕文字、同时驱动个性化动画化身做出动作,从而在数秒内同时解码言语与非言语两种沟通方式。

AI-generated editorial illustration: ‘Multifunctional’ brain implant translates speech and gestures in real time

深度剖析

首次在单一植入体上同时解码言语与非言语沟通,且两者在用户意图后数秒内完成。 此前的脑机接口研究多聚焦于一次恢复一种功能,如说话、控制光标或机械臂;该工作把言语与手势放在同一设备、同一时间尺度上处理。 基于两名参与者的概念验证,设备为手术植入的253电极皮层表面阵列,覆盖感觉运动皮层较大区域,可同时捕捉言语与身体动作相关信号。

研究团队针对言语与手势神经信号重叠、以及同时进行时活动模式略有差异的难点,采集了单独言语、单独手势以及二者结合三种条件下的神经活动。 把‘同时性’本身作为解码目标,而非分别处理两种任务,并纳入了如‘hello’配挥手、‘yes’配点头这类组合。 两名参与者条件不同:一人为脑干卒中后言语与运动受损,被要求默念五个短语并尝试挥手、点头、握手、拍手;另一人为肌萎缩侧索硬化导致进行性言语瘫痪与运动障碍,被要求发声说出十个短语并想象做十个手势,除面部肌肉外不移动身体。

系统用人工智能把电生理脑活动转换为屏幕文字,并驱动个性化动画化身运动。 将解码输出同时落到文本与动画化身两种沟通通道上,指向比现有技术更能承载表达力的多功能脑机接口。 文中将其定位为概念验证,并引用未参与研究的计算神经科学家Christian Herff的评价,认为这为进入日常使用的神经假体带来希望。

启示与展望

该结果面向因脑干卒中或肌萎缩侧索硬化等导致严重言语与运动障碍的人群,在受控实验任务下验证了单一植入体同时解码言语与手势的可行性;它提示后续可探索把多种沟通通道整合进同一设备的路径,以及让神经假体更接近日常使用的方向。

读者仍会关注:两名参与者的结果能否在更多人和更多病因中重现;言语与手势同时解码的准确率与延迟具体如何;长期植入的稳定性与日常使用可行性;以及动画化身与文本输出在真实沟通场景中的实际增益。由于所载文本为摘要式报道且正文被截断,上述量化信息无法从现有材料中确认。

来源