跳到主要内容
返回时间线
bioRxiv来源发表:

听觉皮层植入不再缺编码器:Braincodec用256通道还原自然声,小鼠分辨精度追平真实声音

核心概要

面向听觉皮层植入的编码算法Braincodec把自然声压缩到256或512个刺激通道,重建相似度接近10的SI-SNR,而人工耳蜗编码器约为-30。它同时让刺激模式贴近听觉皮层的时空响应,植入小鼠用这些模式分辨纯音,精度与听真实纯音的小鼠无显著差异。

Source-provided article image: A biomimetic deep encoder for auditory restoration by cortical stimulation
Fig 1 · bioRxiv · 第 3 页

深度剖析

听觉皮层面积比耳蜗或听觉脑干大十倍以上,可容纳数百个刺激通道,但此前缺少一套把声音转成皮层刺激模式、同时不丢失声学信息的编码算法。 人工耳蜗和听觉脑干植入受电刺激空间分辨率限制,只能提供少量独立通道,安静环境下能听懂语音,却难以应对噪声背景和音乐细节。 在2000段声音上,Braincodec重建的平均SI-SNR约为+10,而22通道人工耳蜗ACE编码器经同一类深度解码器重建后平均为-33.1±8.4,两者差异在配对双侧t检验中p<0.001。

Braincodec由一个14层一维卷积编码器、一个镜像结构的解码器和一个浅层分类器联合训练,编码器把24 kHz波形转成40 Hz的通道刺激模式。 只用自编码器压缩能保住声学信息,却难以复现皮层表征;只用分类器能贴近皮层,却难以重建声音。 在165段自然声的人类fMRI数据上,Braincodec的表征最多解释71%的初级听觉皮层活动,纯自编码器不超过19%;分类与重建两个目标同时训练时互不拖累。

在植入小鼠中,100通道的Braincodec模式经10×10 μLED阵列投射到初级听觉皮层A1,小鼠在Go/NoGo任务中学会区分两种模式。 作为对照,未植入小鼠听4 kHz与16 kHz两个真实纯音,两组学习曲线无显著差异(p=0.56)。 在中间频率的捕捉试次中,Braincodec组与真实纯音组的感知分辨率分别为0.21±0.02和0.26±0.02倍频程,差异不显著(p=0.11)。

启示与展望

演示范围是离线训练、在线运行的软件编码器,加上小鼠A1上的光遗传刺激原型;人类数据只用于表征相似性比较,没有人类植入试验。作者提出下一步需要验证高分辨率表面电极能否用于人体刺激。

作者指出,Braincodec只能把输出对齐到皮层声音响应的介观组织,无法复现单神经元尺度的精确活动模式,植入效果取决于患者大脑把新表征与意义关联起来的能力。小鼠实验用人类听觉范围的纯音模式平移到小鼠音调拓扑轴,自然声未在此实验中使用。