基于XLNet与SHAP的HMPV公众情绪可解释分析
核心概要
该研究从YouTube新闻频道抓取2024—2025年HMPV相关评论15,300条、经预处理保留9,758条,用VADER生成弱情绪标签,比较ELECTRA、RoBERTa、ALBERT、DistilBERT、XLNet与BERT六种Transformer模型,XLNet取得93.50%的最高准确率,并用SHAP的PartitionExplainer对正确分类样本给出词级归因,显示“flu”“fear”等词推动负面判断、“save”“help”“mad”与中性相关、“falling”“save”“god”“america”与正面相关。
深度剖析
构建了面向HMPV相关YouTube评论的完整情绪分析流水线,覆盖多语言翻译、表情符号转写、链接与特殊字符清除、停用词移除与词形还原,并公开数据集与代码。 作者称这是首个针对HMPV的情绪分析研究,此前HMPV相关文献多集中于流行病学与临床诊断,而非公众在线话语。 原始抓取15,300条评论,预处理后保留9,758条;数据与训练代码托管于公开GitHub仓库,具备可复现基础。
在相同留出测试集上比较六种Transformer模型,XLNet以93.50%准确率居首,高于ELECTRA的91.14%与BERT的91.00%,RoBERTa、ALBERT、DistilBERT在89.50%至89.96%之间。 把XLNet的排列语言建模优势放到HMPV这一具体公共卫生话题的非正式用户生成文本上做实证比较,而非仅在通用基准上讨论。 所有模型使用各自分词器、同一留出测试集与加权精确率、召回率、F1;混淆矩阵显示负面708、中性629、正面424例正确分类,ROC的OvR AUC为负面0.97、中性0.97、正面0.96。
用SHAP的PartitionExplainer对微调后的XLNet做词级归因,以100条中性训练评论为背景集,将子词归因求和聚合到词级,并只解释正确分类样本。 把可解释AI引入HMPV情绪分类,使“哪些词推动某一情绪判断”可被可视化,而不只是报告一个准确率数字。 归因结果给出具体词例:“flu”“fear”“shit”在负面预测中SHAP值高,“save”“help”“mad”与中性相关,“falling”“save”“god”“america”推动正面;作者另对每类随机抽50条高重要性评论做人工语境核查,称不足10%的评论与HMPV弱相关。
对SHAP识别的重要词做人工定性验证,判断其是否真正落在HMPV话语内,而非政治讨论、泛化脏话或垃圾信息。 在情绪分类研究中显式加入对解释结果本身的质量核查,回应了归因可能被话题漂移误导的担忧。 每类抽样50条正确分类且高绝对SHAP值的评论由作者人工审阅,结论是多数高重要性词出现在讨论感染严重程度、公共卫生应对、个人焦虑或对权威信任的评论中。
启示与展望
该框架适用于以YouTube新闻频道评论为对象的探索性在线话语监测,尤其是需要处理多语言、含表情符号与噪声的非正式文本场景;作者指出其公共卫生意义在于支持信息流行病学分析与话语趋势的早期发现,后续可扩展到Twitter/X、Facebook、Reddit等多平台数据,并在伦理允许时纳入人口统计元数据,与调查或流行病学数据做三角验证。
读者仍需留意:情绪标签由VADER自动生成,属弱标签,人工核查为定性评估且未做正式标注一致性度量;SHAP解释仅针对正确分类样本,作者也强调其是近似贡献估计而非因果归因;模型对正面类的区分弱于负面与中性,混淆矩阵显示正面类有56例被判为负面、17例被判为中性;混合情绪与讽刺难以识别;XLNet预训练与训练的计算开销较大。此外,本次可获取的文本中图与表以编号形式出现,具体超参数取值与逐类精确率、召回率、特异度数值未能直接读取,若需复现细节应查阅原文表格与公开仓库。
