糖尿病症状数据集里近半记录是重复档案：按档案分组重评，集成模型准确率从98%回落到90–93%
核心概要
在UCI早期糖尿病风险数据集上，520条问卷记录中有269条与另一条记录共享完全相同的预测变量组合，按行随机划分的交叉验证会把同一档案的副本同时放进训练与测试折。改用按档案分组的交叉验证后，十个集成模型的MCC下降0.105至0.157，准确率从97.2–98.2%降到90.2–93.2%，模型排名也随之改变。进一步把仅年龄不同的近重复症状模式并入同一折，所有模型的表现继续下降。
深度剖析
按行随机划分的交叉验证让同一份症状档案的副本同时出现在训练折和测试折，测得的准确率因此包含了对训练记录的识别，而不只是对新档案的泛化。 此前该数据集上报告的准确率约为97%至99%，其中一项研究报告10折交叉验证下98.1%、不交叉验证时100%。 随机划分下平均68.2%的测试记录在训练折中存在完全相同的档案；按档案分组后这一比例为零，十个集成模型的MCC下降0.105至0.157，逻辑回归下降0.084，最近邻参照下降0.064。
把同一档案的全部记录固定在同一折内重新评估，集成模型的准确率回落到90.2%至93.2%，与文献中接近满分的数值形成对照。 随机划分下九个树集成模型的准确率为97.2%至98.2%，加权F1为0.972至0.982，与既往研究报告的96.8%至99.0%一致。 两种划分使用完全相同的流程，差异只来自划分方式；乐观偏差以10次重复的逐次差值给出2.5至97.5百分位区间，例如堆叠集成的MCC偏差为0.157，区间0.097至0.220。
划分方式改变后，模型之间的排序不再稳定，多数集成模型之间的差异在统计上无法区分。 随机划分下堆叠集成以MCC 0.961并列最高，按档案分组后降至0.804，排到第八。 两种划分下MCC排名的Kendall τ为0.71，ROC-AUC为0.82；按档案分组时，经Holm校正后只有AdaBoost的MCC显著低于额外树，其余比较均不显著。
仅年龄不同的近重复症状模式会带来额外的、因模型而异的乐观偏差，最近邻规则受影响最大。 按档案分组时最近邻参照的MCC为0.870，与额外树的0.857相近。 改按症状模式分组后，最近邻的MCC降至0.799、ROC-AUC降至0.902并成为十二个模型中最末，而额外树仍保持最高的MCC 0.826和ROC-AUC 0.972。
启示与展望
结论针对UCI早期糖尿病风险数据集这一份数据：520条记录、16个预测变量、二分类状态标签，来自孟加拉国Sylhet糖尿病医院。评估覆盖十二个分类器，超参数在分析前固定，采用重复10次的5折交叉验证，并以档案级聚类自助法给出置信区间。所报告的是该数据集标签下的内部估计，不构成诊断或筛查效用证据。
重复档案的来源未知：若其中一些其实是回答相同的不同个体，那么未来患者中也可能出现相似档案，新患者上的表现会落在分组估计与随机估计之间。症状模式分组会拆开答案恰好相同的不同个体，因此被视为下界。结局定义、糖尿病类型以及症状记录相对诊断的时间均无文档说明，数据来自单一医院，阳性比例61.5%远高于筛查人群的患病率，绝对概率在别处使用前需要重新校准。