高分之下藏着标签级失败：四个数据集、五个模型检验LLM编码本分析
核心概要
用编码本（把理论概念映射为标签的标注指南）驱动大模型做内容分析时，聚合指标的高分可能掩盖标签级失败。研究在四个数据集、五个模型上系统扰动提示、重复运行并做跨领域迁移，发现最差标签F1与micro-F1相差约26至30个百分点，且模型更依赖标签名称而非定义。这些失败在准确率和micro-F1上看不出来，在提示优化后依然存在。
深度剖析
编码本驱动的大模型标注流程，其可靠性不能只看聚合分数；同一套流程在标签层面会出现严重不均衡，并随运行、领域和提示格式变化。 此前研究报告的是与人工标注的总体一致性和较强的预测表现，据此把大模型视为可扩展的人工编码替代。 在Minimum Wage、Value Creation Science和CCC三个数据集上，最差标签F1与micro-F1的差距分别为30、26和28个百分点，这一差距在聚合指标中完全不可见。
模型在很大程度上依靠标签名称本身，而不是编码本给出的定义来分配标签。 编码本分析的前提是模型遵循所提供的定义，而不是回退到预训练中获得的背景知识。 只给标签名称、去掉定义的Label-Only设置在Value Creation Science上仍取得意外高的分数，而把标签换成通用伪标签或交换名称与定义后，性能明显下降。
把编码本交给大模型自动优化，会放大标签层面的偏差，并让结果更依赖具体数据集。 自动提示优化和多智能体框架被用来迭代改写提示以提升预测表现，但其对稳健性和概念有效性的影响此前未被系统考察。 在CCC和Value Creation Science上同时加入正例与负例，micro-F1、macro-F1、准确率和macro-Precision均上升，但最差标签F1分别降到5.67和11.32；APO在Value Creation Science上直接删去了一个标签。
同一编码本迁移到同一主题的另一类文本时，逐标签分数上升，但整条样本的标签集合完全预测正确的情况为零。 编码本分析假定编码框架在同一理论领域内的新数据源上仍然有效。 把在学术论文上建立的Value Creation Science编码本用于同主题新闻文本，micro-F1从44.89升到62.22，macro-F1从39.57升到59.55，而整体准确率为0.0。
启示与展望
结论建立在四个数据集、五个模型和相应编码本配置之上，作者说明这些设置反映常见的计算社会科学研究场景；评估框架本身被描述为可适用于任意数据集、编码本和大模型。作者希望后续工作把这一框架扩展到更大规模、多语言和特定领域的情境。
作者指出分析限于少量数据集、编码本和模型配置，结果未必能推广到其他领域、语言或标注框架；对优化后编码本的人工评估只依赖两位专家，可能限制主体间效度。两位专家评分方差低，Cohen's κ 相对较低，但51.6%完全一致、87.3%的评分相差不超过一个刻度。