跳到主要内容
返回时间线
arXiv来源发表:

神经解码不再只靠配对记录:BeeMO用6.5小时无配对行为数据提升跨任务迁移

核心概要

神经运动解码长期依赖侵入式采集的配对神经—行为记录,而无配对行为数据更便宜、更易扩展。BeeMO把行为解码器与神经编码器解耦:行为解码器先在行为轨迹上学习运动动力学,神经活动仅在可用时通过交叉注意力接入。在非人灵长类皮层内运动数据集上,加入6.5小时无配对行为数据后,BeeMO-POYO在随机目标到达任务上显著优于POYO,在等长腕任务上同样显著;仅用行为预训练的BeeMO-POYO可匹敌用32个会话神经数据预训练的POYO。

Source-provided article image: Scaling Neural Motor Decoding via Decoupled Behavioral Pretraining
arXiv

深度剖析

神经解码的训练数据可以拆成两路:一路是稀缺的配对神经—行为记录,另一路是大量无配对的行为轨迹,后者能直接参与预训练并改善解码。 此前的POYO、POSSM等强解码器只在配对的神经—行为记录上联合学习神经表征与行为动力学,扩大规模意味着采集更多同步记录。 在非人灵长类的中心外到达、随机目标到达和等长腕三类任务上,BeeMO-POYO与BeeMO-NDT*在预训练中多用6.5小时行为数据后,在全部任务上超过各自的多会话骨干;BeeMO-POYO在随机目标到达和等长腕上的配对比较显著,BeeMO-NDT*在随机目标到达上显著,在等长腕上差异较小且不显著。

行为解码器先独立学会运动轨迹的时间结构,神经编码器再把脉冲活动压缩成隐令牌,通过交叉注意力按需注入行为解码器。 行为解码器以行为预测为目标,从过去的行为上下文预测目标时刻的行为;没有神经数据时跳过交叉注意力,因此同一批训练可以混合纯行为会话与配对会话。 训练时对配对会话以0.5的概率遮蔽行为上下文,使模型在测试时只能依靠神经活动解码;去掉这一遮蔽后,BeeMO-POYO与BeeMO-NDT*在各任务上下降约6%至9%,甚至低于各自的骨干模型。

启示与展望

实验覆盖非人灵长类皮层内记录的中心外到达、随机目标到达和等长腕三类运动任务,评估在预训练未见过的动物上进行,并以POYO和NDT*两种神经编码器作为骨干。作者提出下一步是在涵盖全脑与多区域记录的基准上检验行为预训练是否仍然有益。

作者指出,BeeMO需要可观测的时间目标或有意义的行为代理,因此不直接适用于没有此类测量的认知状态;实验数据多为结构化、任务驱动的记录,扩展到自由活动行为可能需要更丰富的行为表征。作者还报告,BeeMO-POYO相对POYO的增益随神经会话数增加大致保持恒定,而BeeMO-NDT*的增益随会话增多而扩大,两者差异的原因尚待进一步研究。