# 偏倚风险评估

血源性病毒预测模型的偏倚评估长期依赖人工逐条核对PROBAST+AI条目，费时且易受评审者差异影响。ARBITER把每条信号问题的判断建立在检索到的PROBAST+AI准则、统计方法与疾病特异性知识之上，并区分模型开发与验证两条路径。在9篇HIV、HBV、HCV预测模型研究的200条条目观察中，ARBITER与专家共识的加权κ为0.701，人工评审者为0.724，Claude Sonnet 4.6为0.714，置信区间相互重叠。

血源性病毒预测模型的偏倚评估长期依赖人工逐条核对PROBAST+AI条目，费时且易受评审者差异影响。ARBITER把每条信号问题的判断建立在检索到的PROBAST+AI准则、统计方法与疾病特异性知识之上，并区分模型开发与验证两条路径。在9篇HIV、HBV、HCV预测模型研究的200条条目观察中，ARBITER与专家共识的加权κ为0.701，人工评审者为0.724，Claude Sonnet 4.6为0.714，置信区间相互重叠。

该研究采用零样本提示构建了一个模拟人类评审者的LLM流程，用于QUIPS框架下的风险偏倚评估，并将其应用于既往系统评价中纳入的298篇神经病学预后研究文章（涵盖癫痫、创伤性脑损伤、卒中三个领域），结果显示LLM与人类评估者之间的一致性有限（加权kappa=0.22，95%CI 0.12-0.33），而基于小样本（n=5）的初步数据提示其可能不劣于人类评估者之间的一致性（加权kappa=-0.25，95%CI -1.04-0.54），Wilcoxon符号秩检验在四个偏倚领域及总体风险评分上均具有统计学显著性（p<0.05），秩双列相关显示人类评估者倾向于给出比LLM更高的风险评分。

该研究采用零样本提示构建了一个模拟人类评审者的LLM流程，用于QUIPS框架下的风险偏倚评估，并将其应用于既往系统评价中纳入的298篇神经病学预后研究文章（涵盖癫痫、创伤性脑损伤、卒中三个领域），结果显示LLM与人类评估者之间的一致性有限（加权kappa=0.22，95%CI 0.12-0.33），而基于小样本（n=5）的初步数据提示其可能不劣于人类评估者之间的一致性（加权kappa=-0.25，95%CI -1.04-0.54），Wilcoxon符号秩检验在四个偏倚领域及总体风险评分上均具有统计学显著性（p<0.05），秩双列相关显示人类评估者倾向于给出比LLM更高的风险评分。

该研究对 GPT-5、OpenAI o3-mini 和 GPT-3.5 三个大语言模型在 97 项随机对照试验的 RoB 2 偏倚风险评估任务上进行评测，先用 Okapi BM25 从试验报告中检索相关段落，再对每条生成声明给出支持、矛盾、未找到或超出范围的证据判定并附原文引文，结果显示各模型二分类准确率高达 90%-98%，但证据支持率仅为 60%-65%，保守幻觉率为 34%-37%，说明决策层面的高准确率并不等于输出有文献依据。

该研究对 GPT-5、OpenAI o3-mini 和 GPT-3.5 三个大语言模型在 97 项随机对照试验的 RoB 2 偏倚风险评估任务上进行评测，先用 Okapi BM25 从试验报告中检索相关段落，再对每条生成声明给出支持、矛盾、未找到或超出范围的证据判定并附原文引文，结果显示各模型二分类准确率高达 90%-98%，但证据支持率仅为 60%-65%，保守幻觉率为 34%-37%，说明决策层面的高准确率并不等于输出有文献依据。