冻结的视觉模型直接读脑电:SeeEEG只学显示方式,八个数据集平衡准确率全胜脑电基础模型
核心概要
脑电基础模型在冻结特征迁移上表现不稳,SeeEEG换了个思路:把脑电按临床浏览器的蒙太奇、滤波和对比度设置渲染成图像,只训练这套显示参数,视觉主干全程冻结。以冻结的DINOv3 ViT-B为编码器,SeeEEG在八个临床、睡眠、情感与脑机接口数据集的平衡准确率上全部超过七个脑电基础模型,按Cohen或AUROC排名的平均名次为1.3,最强基线REVE为2.9。
深度剖析
一个从未见过脑电的视觉基础模型,在冻结状态下可以成为比专用脑电基础模型更强的脑电编码器,前提是把每个通道画进图像中独立的一行图块。 此前脑电基础模型在数千小时记录上预训练,但其冻结特征在许多下游任务上迁移较差,且不随模型容量或预训练数据增加而稳定改善。 在八个数据集上,所有编码器冻结并配相同的读出头,冻结DINOv3 ViT-B的SeeEEG在平衡准确率上超过全部七个脑电基础模型,按Cohen或AUROC的平均名次为1.3,最强基线REVE为2.9。
SeeEEG不训练编码器,只学习脑电如何呈现给视觉主干:每个通道占一行图块,画成固定增益下的波形或频率覆盖图块高度的尺度图。 此前的图像化脑电路线要么仍需在脑电上训练或蒸馏,要么把每个通道当作独立图像处理,使电极间的空间关系无法出现在同一张图里。 显示模块由临床脑电浏览器的蒙太奇、滤波和对比度参数构成,从标准临床蒙太奇初始化,经冻结主干用任务损失优化,每个视图最多1,113个可训练参数;在八个数据集上评估,覆盖事件分类、异常检测、睡眠分期、痴呆、慢波、情感、想象言语和运动想象。
这种可读性来自自然图像预训练,而不是任意ViT都能读渲染后的脑电。 把DINOv3换成随机初始化的ViT-B后,同样的显示和读出头平均低15.2分,慢波分类上最多低36.6分。 学到的显示不再优化即可迁移到视频编码器V-JEPA 2.1,后者在八个数据集中的六个上两项指标均超过所有脑电基础模型;监督ImageNet-21k ViT在四个数据集上做到这一点。
启示与展望
评估覆盖八个数据集,全部窗口采样于200 Hz,编码器一律冻结并配相同读出头,结果按三个随机种子在测试划分上取平均;这一范围说明结论适用于所测的临床、睡眠、情感与脑机接口任务,而非所有脑电场景。
显示参数经交叉拟合的读出头优化,以避免拟合受试者特征或特定读出头;验证集在临床蒙太奇、闭式显示与学习显示之间做选择,因此报告的优势依赖于这套验证选择流程。
