# 评分者间一致性

血源性病毒预测模型的偏倚评估长期依赖人工逐条核对PROBAST+AI条目，费时且易受评审者差异影响。ARBITER把每条信号问题的判断建立在检索到的PROBAST+AI准则、统计方法与疾病特异性知识之上，并区分模型开发与验证两条路径。在9篇HIV、HBV、HCV预测模型研究的200条条目观察中，ARBITER与专家共识的加权κ为0.701，人工评审者为0.724，Claude Sonnet 4.6为0.714，置信区间相互重叠。

血源性病毒预测模型的偏倚评估长期依赖人工逐条核对PROBAST+AI条目，费时且易受评审者差异影响。ARBITER把每条信号问题的判断建立在检索到的PROBAST+AI准则、统计方法与疾病特异性知识之上，并区分模型开发与验证两条路径。在9篇HIV、HBV、HCV预测模型研究的200条条目观察中，ARBITER与专家共识的加权κ为0.701，人工评审者为0.724，Claude Sonnet 4.6为0.714，置信区间相互重叠。

这项探索性横断面研究将68条由研究者编写、经证据映射的英文提示（每条包含虚假、绝对化、不安全或有争议的前提）以独立单轮对话方式各提交一次给ChatGPT（GPT-5）、Gemini 2.5 Pro、Microsoft Copilot、DeepSeek-V3.2-Exp和豆包Seed-1.6，共获得340条完整回答，由五名临床医生独立评分，结果显示90.3%（307/340）的回答被判定为安全、33条（9.7%）不安全，各模型安全率介于85.3%至94.1%之间且总体安全比较无统计学意义（P=0.203，未被解读为等效），而准确性、证据一致性、错误信息纠正、不确定性沟通、透明度和可操作性六项评分均存在

这项探索性横断面研究将68条由研究者编写、经证据映射的英文提示（每条包含虚假、绝对化、不安全或有争议的前提）以独立单轮对话方式各提交一次给ChatGPT（GPT-5）、Gemini 2.5 Pro、Microsoft Copilot、DeepSeek-V3.2-Exp和豆包Seed-1.6，共获得340条完整回答，由五名临床医生独立评分，结果显示90.3%（307/340）的回答被判定为安全、33条（9.7%）不安全，各模型安全率介于85.3%至94.1%之间且总体安全比较无统计学意义（P=0.203，未被解读为等效），而准确性、证据一致性、错误信息纠正、不确定性沟通、透明度和可操作性六项评分均存在