LLM 用于开放式调查文本分析:人类与 GPT-5 在归纳式内容分析上的表现比较
本研究以欧洲博士生调查中六个开放题、共 903 条回答为材料,让五名人类编码者与 GPT-5.4 按同一套归纳式内容分析流程分别生成编码与主题,用调整兰德指数(ARI)衡量一致性,结果显示人机在编码层面的平均一致性为 0.61、主题层面为 0.54,接近人类内部(0.68)与模型内部(0.76)的一致性水平,且各变量间一致性差异较大,低内部一致性总伴随低跨主体一致性。
1 篇关联报道
本研究以欧洲博士生调查中六个开放题、共 903 条回答为材料,让五名人类编码者与 GPT-5.4 按同一套归纳式内容分析流程分别生成编码与主题,用调整兰德指数(ARI)衡量一致性,结果显示人机在编码层面的平均一致性为 0.61、主题层面为 0.54,接近人类内部(0.68)与模型内部(0.76)的一致性水平,且各变量间一致性差异较大,低内部一致性总伴随低跨主体一致性。
已读完全部报道