教育领域系统综述中的AI辅助数据提取:LLM准确性实证与人在回路工具AIDE
该研究通过一项先导研究和一项主研究,用Claude 2.1、ChatPDF、GPT-4以及Gemini 1.5 Flash、Gemini 1.5 Pro、Mistral Large 2等LLM,从教育领域已发表综述的112项研究中提取显性变量与派生变量并与人工编码对比,发现LLM在提取显性数据时一致性较高但在按预设类别归类时明显下降、Cohen's Kappa普遍偏低,据此提出并开发了强制逐条人工验证的开源人在回路(HIL)数据提取工具AIDE。