冻结的脑电基础模型不必全量微调:只取第一层一个注意力头的连接矩阵,跨被试情绪识别平衡准确率42.13
核心概要
脑电基础模型REVE不再需要全量微调或整层池化特征才能做情绪识别。此前这类模型在跨被试任务上尚未稳定超过专用架构,且表征计算与存储代价高。该做法把第一层单个注意力头的注意力权重按试次聚合成通道间加权连接矩阵,再用无标签的对称性打分挑出信息量最大的头,在SEED-IV上以经典分类器取得42.13的平衡准确率,计算量比全层注意力池化少约176倍。
深度剖析
冻结的脑电基础模型可以直接输出可解释的通道间连接特征,而不必把整层池化向量当作分类输入。 此前脑电基础模型在跨被试任务上尚未稳定超过专用架构,标准用法是拼接全部23层注意力池化嵌入,得到11776维特征向量。 在SEED-IV四类情绪数据上,单个注意力头导出的连接矩阵配合经典分类器,平衡准确率42.13、加权F1为40.12,与全量微调的LaBraM(40.98与40.61)处于同一水平。
挑选注意力头不需要标签,只看注意力图的对角对称程度即可。 八个头中第三个头(索引2)的Frobenius对称误差最低、对称得分最高且标准差最小,其注意力图呈现更明显的块状对角结构。 该头在全部指标上最好,准确率0.3917、F1为0.3803,其余头虽高于0.25的随机基线但更接近基线;对该头特征做置换检验可在p<0.01下拒绝随机特征等效的零假设。
特征提取只走第一层,因为只有这一层的每个词元仍唯一对应一个通道与时间窗。 从第二层起,多头注意力的输出投影会混合各头与各位置的信息,单个注意力分数无法再归到某一对通道。 在SEED-IV的1080段记录上,每段按1秒窗切分,注意力图经softmax后去掉自连接并按试次池化,得到每个头一张60×60矩阵;相对全层池化与末层池化分别少176倍与8倍计算。
启示与展望
演示范围限于SEED-IV数据集:15名被试、每人3个会话各24个试次、共1080段记录,60个通道,采用留一被试的跨被试协议,且只使用REVE第一层注意力。作者提出后续应检验按时间窗加权的连接特征、其他模型与SEED-IV之外的数据集。
作者指出,基础模型可能受预训练数据偏置、更强调邻近连接,这一影响对REVE及本方法尚未研究,因此未能验证正负刺激的左右半球不对称文献。对称性选头准则与额区富集结论的普适性仍需其他模型和数据集确认。
