St. Edward's University

本文提出以“信息满足度”（查询加读者画像）作为摘要评估的新维度，通过五类扰动测试与一项专家人工评估发现，ROUGE、BERTScore 等传统指标以及 Llama-3.3-70B、Prometheus-7B 等 LLM 评判指标大多无法通过基本扰动检验，且与读者偏好的一致性接近随机水平，说明现有指标不足以衡量摘要对特定读者的信息满足度。

本文提出以“信息满足度”（查询加读者画像）作为摘要评估的新维度，通过五类扰动测试与一项专家人工评估发现，ROUGE、BERTScore 等传统指标以及 Llama-3.3-70B、Prometheus-7B 等 LLM 评判指标大多无法通过基本扰动检验，且与读者偏好的一致性接近随机水平，说明现有指标不足以衡量摘要对特定读者的信息满足度。