# 大语言模型内容分析失效模式评估

用编码本（把理论概念映射为标签的标注指南）驱动大模型做内容分析时，聚合指标的高分可能掩盖标签级失败。研究在四个数据集、五个模型上系统扰动提示、重复运行并做跨领域迁移，发现最差标签F1与micro-F1相差约26至30个百分点，且模型更依赖标签名称而非定义。这些失败在准确率和micro-F1上看不出来，在提示优化后依然存在。

用编码本（把理论概念映射为标签的标注指南）驱动大模型做内容分析时，聚合指标的高分可能掩盖标签级失败。研究在四个数据集、五个模型上系统扰动提示、重复运行并做跨领域迁移，发现最差标签F1与micro-F1相差约26至30个百分点，且模型更依赖标签名称而非定义。这些失败在准确率和micro-F1上看不出来，在提示优化后依然存在。