心理压力对话识别不再逐句判断:情绪转移矩阵把五类识别推到85%,跨轮预测76.2%
核心概要
心理压力对话识别此前多把每句话当作独立片段、在最后一层拼接各模态特征,难以刻画情绪在轮次间的累积与转移。BERT-EmoShiftNet把BERT的多层语义编码与EmoShiftNet的情绪转移建模结合,用跨模态Transformer对齐文本、语音和视觉,并在共享嵌入空间做跨模态对比学习。在按对话级切分的自建数据上,全模态五类识别总体准确率为85.0%(95%置信区间[83.2%,86.8%]),情绪转移预测准确率76.2%,平均检测延迟13.4秒。
