arXiv 2026年10月6日该研究基于英国某专科肿瘤中心 21,564 名肺癌与头颈癌患者的 290,026 份门诊笔记，比较 RadBERT、PathologyBERT 与两种本地策略：继续掩码语言模型预训练得到的 OncoNote-RadBERT 验证困惑度为 2.10，从零训练并配肿瘤专用 WordPiece 分词器的 OncoNoteBERT 困惑度为 2.83，但分词效率最高（子词生育率 1.224、归一化序列长度 0.7636，约少用 23.6% 词元），并在 13 个掩码探针中 12 个给出临床可接受预测（OncoNote-RadBERT 为 7 个）；两个本地模型均把机构占位符 [REMOVED] 表示为单一可学习词元。该研究基于英国某专科肿瘤中心 21,564 名肺癌与头颈癌患者的 290,026 份门诊笔记，比较 RadBERT、PathologyBERT 与两种本地策略：继续掩码语言模型预训练得到的 OncoNote-RadBERT 验证困惑度为 2.10，从零训练并配肿瘤专用 WordPiece 分词器的 OncoNoteBERT 困惑度为 2.83，但分词效率最高（子词生育率 1.224、归一化序列长度 0.7636，约少用 23.6% 词元），并在 13 个掩码探针中 12 个给出临床可接受预测（OncoNote-RadBERT 为 7 个）；两个本地模型均把机构占位符 [REMOVED] 表示为单一可学习词元。OncoNoteBERT 用 29 万份英国门诊肿瘤笔记训练专用编码器：继续预训练困惑度降至 2.10，从零训练分词器使序列缩短约 23.6%该研究基于英国某专科肿瘤中心 21,564 名肺癌与头颈癌患者的 290,026 份门诊笔记，比较 RadBERT、PathologyBERT 与两种本地策略：继续掩码语言模型预训练得到的 OncoNote-RadBERT 验证困惑度为 2.10，从零训练并配肿瘤专用 WordPiece 分词器的 OncoNoteBERT 困惑度为 2.83，但分词效率最高（子词生育率 1.224、归一化序列长度 0.7636，约少用 23.6% 词元），并在 13 个掩码探针中 12 个给出临床可接受预测（OncoNote-RadBERT 为 7 个）；两个本地模型均把机构占位符 [REMOVED] 表示为单一可学习词元。该研究基于英国某专科肿瘤中心 21,564 名肺癌与头颈癌患者的 290,026 份门诊笔记，比较 RadBERT、PathologyBERT 与两种本地策略：继续掩码语言模型预训练得到的 OncoNote-RadBERT 验证困惑度为 2.10，从零训练并配肿瘤专用 WordPiece 分词器的 OncoNoteBERT 困惑度为 2.83，但分词效率最高（子词生育率 1.224、归一化序列长度 0.7636，约少用 23.6% 词元），并在 13 个掩码探针中 12 个给出临床可接受预测（OncoNote-RadBERT 为 7 个）；两个本地模型均把机构占位符 [REMOVED] 表示为单一可学习词元。