审计发现多语言情感生成基准的头条结论源于测量工具而非系统差异，并提出表情情感可解码性探针
核心概要
该工作审计了一个多语言情感生成基准：八个指令微调大模型为17,100条孟加拉语、英语和印地语句子生成表情摘要，配合6,960条人工判断，发现把标注者视为随机因子后没有任何系统之间存在显著差异（F(7,14)=0.59，p=0.76），而常规分析却宣称28组两两比较中有19组显著；标注者身份解释的评分方差远多于系统身份，去掉任一标注者都会改变获胜系统；排序与输出长度相关，平均表情数量解释78.7%的系统间方差，在2,599对长度匹配比较中排行榜发生反转；跨提供者的各向异性差异在均值中心化后消失，每语言token成本随归一化单位改变符号，多视图按行切分使macro-F1虚高3.1个点并改变排名第一
Figure 1: (a) Random-effect variance components; annotator-related terms (red) dominate. The system is a fixed factor and accounts for 0.7% of the total sum of squares against 22.1% for the annotator main effect. (b) System rank as a function of which annotator is excluded. (c) Decision study: G G saturates in the number of items, so three annotators cannot reach G = 0.8 G=0.8 at any corpus size.
arXiv深度剖析
把标注者当作随机因子重新分析后，八个系统之间没有任何一对存在显著差异（F(7,14)=0.59，p=0.76），而常规分析在28组两两比较中判定19组显著。 此前该基准的头条结论把系统间差异当作系统属性；该工作表明这些差异取决于是否把标注者视为固定因子，并指出标注者身份解释的评分方差远多于系统身份，去掉任一标注者都会改变获胜系统。 基于17,100条孟加拉语、英语和印地语句子、八个指令微调模型和6,960条人工判断的审计，报告了F值与p值，并做了逐标注者剔除的稳健性检查。
浮现出来的系统排序与输出长度相关：平均表情数量解释78.7%的系统间方差，在2,599对条目内长度匹配比较中排行榜发生反转。 这把看似反映情感生成质量的排序，重新定位为对输出长度的反映，并给出长度匹配这一具体对照来检验排序是否稳健。 报告了78.7%的方差解释比例，并在2,599对长度匹配样本上做了条目内比较。
若干常见分析选择会改变结论：跨提供者的各向异性差异在均值中心化后消失，每语言token成本随归一化单位改变符号，多视图按行切分使macro-F1虚高3.1个点并改变排名第一的系统。 该工作把三类看似技术性的预处理与切分选择与结论方向直接联系起来，说明这些选择本身就能翻转比较结果。 以均值中心化前后对比、不同归一化单位下的token成本符号变化，以及多视图按行切分下macro-F1的3.1个点差异作为证据。
作者提出“表情情感可解码性”这一基于参考的探针来替代偏好评分，其排名在不同随机种子下稳定在±0.003 macro-F1。 相对于受标注者与长度影响的偏好评分，该探针提供了一种对随机种子稳定的替代评估方式。 报告了跨随机种子的macro-F1波动幅度为±0.003。
启示与展望
该审计针对一个多语言情感生成基准，覆盖孟加拉语、英语和印地语三种语言、八个指令微调模型、17,100条句子与6,960条人工判断，适用于以人工偏好评分对生成式情感摘要进行排名的评估场景。其结论面向设计或使用此类基准的研究者与工程团队，用于判断系统间差异是否稳健、排序是否受输出长度与标注者构成影响，以及预处理与切分选择是否会改变结论。所提出的表情情感可解码性探针面向需要跨随机种子稳定排名的评估需求。
读者仍会关注：表情情感可解码性探针在三种语言之外的语言与其他主观生成任务上的表现如何；长度匹配比较在更大样本或其他长度度量下是否仍会反转排行榜；标注者随机化分析在标注者数量更多或更少时的稳定性如何。此外，本次读取为摘要级范围，未包含图表与完整方法细节，因此关于探针的具体构造、参考来源与实现细节，以及各稳健性检查的完整设置，仍需查阅原文确认。