摘要评分不再只给一个总分:EViSE一次编码同时给出忠实、连贯、相关三项,News测试总体ρ达0.806
核心概要
EViSE把摘要评估拆成忠实、连贯、相关三项,用一次非自回归编码同时给出三个分数,训练时把分数回归与同一来源内候选摘要的排序约束合在一起。在8万余条人工复核的越南语文档—摘要样本上,EViSE-mmBERT在留出News测试集上的总体Spearman相关为0.806,紧凑版EViSE-ViDeBERTa为0.737;同一架构下加入排序项后,三项Spearman比只用回归提高0.045至0.061。
深度剖析
摘要自动评估从单一总分变成三项分维度打分,而且三项分数来自同一次编码前向计算,推理时不需要参考摘要。 此前常用的ROUGE与BERTScore只给一个基于参考文本的重合或语义相似分数,不把事实支撑、篇章质量和内容取舍分开;基于提示的大模型评判则需要反复自回归调用。 在1,348篇文档、8,088条摘要的留出News测试集上,EViSE-mmBERT的总体Spearman相关为0.787、Pearson为0.870,EViSE-ViDeBERTa分别为0.721和0.827,而同一6,740对可比子集上ROUGE-Lsum为0.459和0.580,BERTScore-F1为0.357和0.506。
训练目标把绝对分数回归和同一来源内部的相对排序绑在一起,让模型既贴近人工给出的分值,又保持同一文档下多条摘要的质量次序。 只用回归时,模型只被要求逐条逼近分数,没有显式约束同一来源候选之间的先后关系。 在固定的ViDeBERTa配置下,加入排序项后忠实、连贯、相关三项的Spearman分别从0.646、0.570、0.674升到0.697、0.615、0.735,MAE从0.120、0.121、0.127降到0.104、0.104、0.109。
排序损失按来源和维度分组归一化,每个来源—维度组内先对可用摘要对取平均,再对所有来源和三个维度取平均,空对集合计为零。 若把所有摘要对混在一起平均,标签差异对更多的来源会因为对数多而获得更大的排序权重。 两个可用来源分别有5对和14对、排序错误为1和0时,混合平均得到5/19,而按来源等权平均得到1/2;训练时每个微批次装入同一来源的全部六条候选摘要。
启示与展望
评估覆盖1,348篇文档的留出News测试集与900条IT教材摘要的跨域基准,紧凑版另有150对独立盲测子集;计算成本在单块Tesla T4、FP32、批大小4的匹配配置下测得。
理论上的均值对齐与精确标签最优性建立在预测坐标可自由取值的设定上,共享参数可能把组偏移与排序更新耦合;跨域只覆盖一个技术教育领域,独立盲测仅针对紧凑版,多语言效果仍待评估。
