VR看球不再只看画面：视频、音频、脑电与眼动四路融合，沉浸度分级准确率81.6%
核心概要
沉浸式VR足球转播要判断观众当下的沉浸程度，单看画面无法区分“在看”与“走神”，简单拼接四路信号又会把低质量通道的噪声带进决策。CMAFNet把视频作为语义枢纽，与音频、脑电和眼动分别做双向交叉注意力，再按每个样本的实时信号质量自适应分配融合权重，并用序数回归损失保留沉浸等级的高低顺序。在720段60秒VR比赛片段切出的86,400个样本上，四档沉浸分类总体准确率为81.6%，平均绝对误差0.274，比最强的2024年基线MT-AMW高3.4个百分点、误差低13.8%。
深度剖析
沉浸式VR足球转播的观众体验评估从依赖事后问卷，转为用视频、音频、脑电和眼动四路同步信号实时推断沉浸等级。 此前VR沉浸检测多依赖单一任务或有限模态组合，简单拼接忽略模态间的语义差距与质量差异，低质量通道的噪声会进入最终决策。 在720段60秒VR比赛片段切分出的86,400个时间样本上，四档沉浸分类总体准确率为81.6%、平均绝对误差0.274，比最强的2024年基线MT-AMW准确率高3.4个百分点、误差低13.8%。
四路信号不是两两全连接，而是以视频为中心分别与另外三路交互，融合权重按每个样本的信号质量单独给出。 全连接交叉注意力对四路模态需要6个成对注意力模块，这里只保留视频与音频、脑电、眼动的三条双向通路，交叉注意力参数减少50%。 在统一编码器与预处理后重训的对照中，基线只提升0.5至0.8个百分点，CMAFNet仍比最强的重实现基线MT-AMW高2.9个百分点、误差低13.3%。
融合权重会随信号质量变化，而不是对所有输入使用同一组固定权重。 此前的门控融合方法如CMGA为每个模态学习一个跨样本共享的标量权重，无法跟随单个样本的质量波动。 向单一模态注入高斯噪声至信噪比0 dB时，脑电通道的平均门控值从0.53降到0.19，降幅64%，其余三路干净模态的权重基本稳定或略有上升。
在30名参与者上做留一被试交叉验证，跨个体表现与标准划分接近。 标准8:1:1划分已保证参与者不重叠，但测试人数较少，未必能刻画跨个体泛化。 留一被试交叉验证的平均准确率为79.3±2.1%，比标准划分的81.6%低2.3个百分点，且高于八个基线在标准划分上的成绩。
启示与展望
结果来自30名18至35岁、具备一定技术熟悉度的成年志愿者，在实验室中用Meta Quest Pro头显与32通道干电极脑电帽采集，素材覆盖四类比赛场景。
作者指出，探针目标中有两项是片段粒度的被试自评，带有主观量表噪声，无法分辨片段内的信息内容；唯一信息量的绝对数值应作参考而非精确值；定向扰动建立的是关联而非严格因果归因。