跳到主要内容
检索

# 跨模态注意力融合网络

1 篇关联报道

订阅更新
  1. VR看球不再只看画面:视频、音频、脑电与眼动四路融合,沉浸度分级准确率81.6%

    沉浸式VR足球转播要判断观众当下的沉浸程度,单看画面无法区分“在看”与“走神”,简单拼接四路信号又会把低质量通道的噪声带进决策。CMAFNet把视频作为语义枢纽,与音频、脑电和眼动分别做双向交叉注意力,再按每个样本的实时信号质量自适应分配融合权重,并用序数回归损失保留沉浸等级的高低顺序。在720段60秒VR比赛片段切出的86,400个样本上,四档沉浸分类总体准确率为81.6%,平均绝对误差0.274,比最强的2024年基线MT-AMW高3.4个百分点、误差低13.8%。

已读完全部报道