跳到主要内容
返回时间线
medRxiv来源发表:

美国骨科医学院公开患者信息政策中的决策支持:基于情境小品的文件分析

核心概要

该研究以20所美国骨科医学院为样本、用8个教育情境小品生成160个学校-情境配对,每对经三轮AI辅助检索与评估并按“明确支持、可推断、模糊、未涉及”分类,结果显示159/160(99.4%)至少检索到一份合格来源,但仅21对(13.1%)被归为支持充分,其中生成式AI辅助反思性写作最常见(7/20所学校,35%),个人云笔记与官方临床日志则无一例支持充分。

AI-generated editorial illustration: Decision Support in Publicly Available Patient Information Policies at U.S. Osteopathic Medical Schools: A Vignette-Based Document Analysis

深度剖析

研究提出并实施了一套以情境小品为单位的文件分析方法,把“能否检索到相关公开指南”与“指南是否足以支持具体行动决策”区分开来。 以往对院校政策的审视多停留在文件是否存在或是否提及,这里把评估单位下沉到学校-情境配对,并给出四档分类与三轮重复评估。 探索性、基于地理多样性的非概率样本,20所学校、8个情境、160个配对,每对三轮AI辅助检索与评估,属描述性分析。

在160个配对中,最终分类为明确支持18对(11.3%)、可推断3对(1.9%)、模糊132对(82.5%)、未涉及7对(4.4%),合并后支持充分共21对(13.1%)。 给出了公开指南在具体情境下支持力度的分布,而不仅是定性描述政策内容。 描述性统计;至少检索到一份合格来源的比例为159/160(99.4%),说明低支持充分率并非源于检索失败。

支持充分程度在不同情境间差异明显:生成式AI辅助反思性写作最常被判定为支持充分(7/20所学校,35%),而个人云笔记与官方临床日志在全部学校均无支持充分判定。 把政策空白定位到具体使用场景,而非笼统地说政策不完善。 按情境分组的计数结果;10所学校没有任何一个情境达到支持充分,最高者为8个情境中的4个。

评估过程本身被量化:三轮评级在113对(70.6%)上完全一致,两两精确一致率80.2%;多份文件共同参与111次评估(69.4%);研究者复核保留47个被选中的不一致评级中的44个,并将3个上调。 把AI辅助评估的一致性与人工复核结果一并报告,使分类结果的可重复性可被读者判断。 三轮重复评估与单研究者复核;两校模型-研究者对比为探索性,研究者比模型更常把证据判为充分。

启示与展望

该研究适用于美国骨科医学院公开可得的患者信息相关政策材料,评估单位是学校与教育情境小品的配对,结论限于该评估框架内的分类结果。它可直接用于院校自查哪些情境需要澄清,也可作为其他院校类型或政策领域复用该情境小品式审查流程的起点;作者指出,与学习者共同评估以及考察内部与临床站点指南,有助于判断这些发现如何转化为学生的实际决策。

三轮评级仍有约三成配对未完全一致,且不一致评级由单一研究者复核,不同复核者可能得到不同结果;两校模型-研究者对比为探索性,方向性差异尚需更大样本确认。此外,本次可获取文本为摘要与声明部分,缺少正文中的表格、情境小品全文与补充材料细节,因此各情境的具体判定依据与分类细则仍有待查阅原文确认。

来源