跳到主要内容
返回时间线
researchsquare.com来源发表:

跨天解码不再重训整张网络:只调输入端的6.5万参数,T12六个会话全部改善

核心概要

跨天使用皮层内语音解码器时,神经信号漂移会让固定解码器变差。一项研究把适配限制在神经输入端的256×256仿射变换与偏置上,只更新65792个参数(不到完整模型的0.05%),循环编码器和音素分类器保持冻结,用40或80个带标签试次做监督校准。在公开数据集T12的六个按时间留出的会话上,音素错误率相对下降11.37%和15.51%,六个会话在三个随机种子下全部改善;在独立数据集T15上,同样冻结的校准规则带来2.72%和10.05%的下降,但会话间差异更大,两个预算的名义检验都未低于0.05参考阈值。

AI-generated editorial illustration: Rapid parameter-efficient calibration for cross-session intracortical speech decoding across multiple datasets

深度剖析

跨天语音解码的适配可以只发生在神经输入端,而不必重训负责时间序列和音素输出的高容量部分。 此前的做法要么对模型做不受限的微调,引入大量目标会话专属自由度,要么依赖低维神经表征对齐来稳定解码。 在T12的六个按时间留出的会话上,40个试次校准时宏平均音素错误率从0.4211降到0.3732,80个试次时从0.4219降到0.3565,六个会话在三个校准种子下全部改善,配对符号秩检验的名义p值均为0.03125。

校准规则在T12上选定后原样搬到T15,没有根据T15的测试表现重新调参。 T15使用单独训练的源解码器,学习率、适配范围、优化步数、校准预算和种子集合都沿用T12开发阶段的取值。 T15在40个试次时宏平均音素错误率从0.6324降到0.6152,八个会话中四个在全部种子下改善;80个试次时从0.6123降到0.5508,六个合格会话中四个在全部种子下改善,两个条件的名义p值为0.546875和0.15625。

错误分解显示校准主要纠正的是解码序列过短的问题,而不是把一种编辑错误换成另一种。 T12在40个试次时替换率从0.2754降到0.2445、删除率从0.1057降到0.0857,插入率仅从0.0469变到0.0491,解码与参考的音素长度比从0.9412升到0.9634。 T15在40个试次时删除率从0.171822降到0.107795、长度比从0.850713升到0.950242,但替换率和插入率同时上升;到80个试次时替换率与删除率才同时下降。

目标会话校准的计算开销被压到秒级,因为超过99.95%的预训练参数保持冻结。 最终只优化会话专属的256×256仿射矩阵和256维偏置,共65792个可训练参数,占T12源解码器133187113个参数的0.049398%,占T15解码器134436649个参数的0.048939%。 在所用GPU上,T12校准平均耗时7.52秒(40试次)和7.56秒(80试次),峰值显存约1.28GB;T15为20.12秒和23.46秒,峰值显存约1.80GB和1.91GB。

启示与展望

这项工作评估的是两个公开皮层内尝试语音数据集,各自来自一名BrainGate2试验参与者,所有分析均为离线进行。校准是有监督的,需要目标会话中40或80个带标签试次,且只比较了受限的仿射与残差适配器范围。T12与T15在原生特征维度、记录时间线和源模型构建上不同,因此T15实验应视为独立的跨数据集评估,而不是单因素重复。

T15的两个校准预算都没有低于名义0.05参考阈值,会话层面的响应比T12更不均匀,因此不能得出单一低容量变换可以普遍消除跨会话失配的结论。可校正的比例取决于目标记录会话和可用校准信息量。仿射与仿射加适配器的验证音素错误率几乎相同(0.295796与0.295989),所以并未证明仿射适配在统计意义上优于更具表达力的参数高效方法。对更多参与者、植入配置、更长记录周期和闭环通信的泛化仍然未知。