手术画面描述改用图检索：GRAC在EndoVis-18上把器械-动作-目标三元组完全匹配率提到52.6%
核心概要
GRAC把手术场景表示为图，从训练集中检索相似的手术活动图-描述对，再比较当前场景与检索场景的器械-组织交互，用比较结果约束生成。在EndoVis-18合并评测集上，它的CIDEr-D为5.88，高于SGT的4.23和最强传统Transformer基线的3.36；器械-动作-目标三元组完全匹配率为52.6%，SGT为32.7%，最强传统基线为26.2%。在TORS数据集上，它的CIDEr-D为5.06，最强基线为3.80。
深度剖析
手术视频的逐帧文字描述不再只靠模型参数记忆语言模式，而是先从训练集中取回相似手术活动的图与描述，再据此生成当前帧的描述。 此前的场景图描述方法主要学习从场景表示到自然语言的直接映射，在标注训练数据有限时难以学好结构与语言之间的关系。 在EndoVis-18合并评测集上，GRAC的CIDEr-D为5.88，SGT为4.23，最强传统Transformer基线为3.36；三元组完全匹配率为52.6%，SGT为32.7%，最强传统基线为26.2%。
检索不是按画面外观找相似帧，而是按手术活动找：训练时用描述监督的对比学习把活动相似的图拉近，推理时按嵌入相似度取回三对图-描述。 直接复制排名最高的检索描述只能得到CIDEr-D 5.33和三元组完全匹配率46.1%，低于GRAC的5.88和52.6%。 检索候选按相似度排序，每个不同三元组集合只保留排名最高的一例，直到选满三对；训练时排除同一手术序列的候选以避免自检索。
生成前，模型按器械类别把当前图与每个检索图配对，比较对应器械的节点表示和器械-组织边特征，把差异与一致性编码进检索描述的词元，再交给解码器。 只加图比较而不加兼容性监督时CIDEr-D为5.74，低于仅检索的5.81；加入兼容性监督后为5.88，器械幻觉率从0.049降到0.037。 这一器械幻觉下降在配对帧级分析中显著（p=0.003），而CIDEr-D、三元组完全匹配率和三元组F1相对仅检索的增量未达统计显著（p分别为0.054、0.21、0.23）。
启示与展望
评测覆盖EndoVis-18的392帧留出基准和TORS的36帧测试集，输入均为已标注的场景图特征，输出是单帧描述而非完整手术报告。作者提出后续应在自动预测的场景图上、更多样化的手术流程中评估，并请专家判断事实准确性与临床相关性。
TORS结果是在该数据集上独立训练后的同数据集复现，不是从EndoVis-18零样本迁移，也不能证明对独立临床人群的稳健泛化；其参考描述集中在反复出现的活动上，训练集同样很小。作者还指出，当排名最高的检索描述器械正确但动作错误时，GRAC在受检帧的54%至71%中沿用了该错误动作。