跨被试脑电图像检索换人就不准:SA-LBC用同刺激源锚点校准,MRR从0.1867升到0.2336
核心概要
跨被试神经—图像检索中,把少量目标被试观测的均值与源被试全局均值相比,会把被试自身的表征偏移和刺激组成差异混在一起。SA-LBC改为对每个校准刺激取同刺激的源群体锚点、平均残差来估计一阶偏移,再用源数据导出的不确定度收缩修正量。在THINGS-EEG2的10名被试留一被试评估中,Attention–CLIP ViT-B/32配置的MRR从无校准的0.1867升到0.2013和0.2336,但检索增益仍依赖所用表征。
深度剖析
新被试的脑活动与图像匹配不再靠一个全局源均值来对齐,而是用同一批刺激在源被试群体中的平均响应作为参照,估计该被试的潜在偏移。 此前的全局均值匹配把目标校准均值与源群体总均值相减,这个差值同时包含被试间表征偏移和抽样刺激组成不同带来的差异。 在THINGS-EEG2的10名被试留一被试评估中,Attention–CLIP ViT-B/32配置的MRR从无校准的0.1867升到0.2013和0.2336;在全部六个神经—视觉配置和所有校准预算下,同刺激锚点的MRR都高于打乱刺激身份构造的锚点。
校准量先按同刺激残差求平均得到,再按源数据估计的可靠性打折,证据不足的偏移不会被全额施加。 不收缩的锚定估计在最小预算下可能低于无校准,例如Attention–CLIP ViT-B/32在M=2时为0.1822,低于0.1867。 在M=2时,收缩在全部六个配置中都优于未收缩的锚定估计;在THINGS-EEG2上,解析与经验MSE的平均相对偏差对两种未收缩估计分别为0.90–1.61%和1.05–1.58%。
启示与展望
评估限于固定预处理和冻结的源训练表征,主基准为THINGS-EEG2的10名被试留一被试设置,另有Alljoined-1.6M的20名被试与THINGS-MEG四名被试的描述性结果;校准只使用概念上与测试集不相交的少量刺激匹配观测。
检索增益随表征而变,TSConv配置上SA-LBC相对无校准的效果很小或为负;收缩在较大预算下的作用不一致,几何校正的排序也会随正则强度反转;Alljoined-1.6M上的增益较小且异质,THINGS-MEG仅四名被试,属于描述性证据。
