把调查统计的小域估计搬进AI评测：PP-S与PP-TS在基准和真实流量上同时改善点估计与区间，DB-CV用一份样本选出与独立验证样本同样好的估计器

提出预测驱动平滑PP-S：把每个域的GREG（广义回归）估计作为输入，套用Fay–Herriot型贝叶斯小域模型，在域之间借力；其扩展PP-TS把单一随机效应换成沿嵌套报告分类（taxonomy）各层级的效应之和。 此前PPI/GREG等直接估计器只用本域标签，标签少时方差按1/n缩放而不精确；小域估计此前主要用于官方统计调查，本文把它与预测驱动推断整合成面向AI评测的估计流程，并让辅助信息同时进入单元层（GREG）和域层（回归协变量）。 在Open LLM Leaderboard（9,324题、34个任务类型、5个基准的两层分类）上，10%预算下PP-TS在三种辅助信息下RMSE与区间分数均优于所有直接与平滑估计器；在PRISM流量（68,371条评分、63个域）上，PP-S（judge+内容协变量）把oracle RMSE从HT的2.505降到1.527，区间宽度从10.47降到5.59。

提出用于在直接估计器与平滑估计器之间做选择的近似无偏设计型交叉验证分数DB-CV，在Dong and Li (2026)去除折间偏差的调整分数基础上，进一步扣除样本层偏差。 此前AI评测中的交叉验证多用于调参而非在估计器之间选择，信息准则又需要似然、无法给直接估计器打分；DB-CV使单份样本即可完成跨类比较，并给出所选估计器误差的校准报告。 在PRISM上以100次重复、10%预算比较四种验证流程：DB-CV选出的候选oracle RMSE为1.543、排序相关0.89、报告误差/真实误差为1.07；朴素CV为1.528/0.88/4.00，50/50为1.557/0.78/2.59，80/20为1.678/0.62/3.54。20%预算下结论不变（DB-CV报告比为1.11）。

用PRISM构造非概率抽样的对照实验，展示选择机制被忽略时的后果：按被选中回复约两倍于被拒回复的比率抽样后当作随机样本估计，样本均值的偏差与典型在线自愿样本面板相当，且偏差随预算增大而持续、95%区间覆盖率明显低于名义水平。 把Meng (2018)的“大数据悖论”在AI评测语境下具体化，并指出PPI在未对选择过程建模时也无法修正该问题，因为标签样本的残差对总体残差仍有偏。 该演示基于PRISM中参与者对每条回复的评分（被选回复平均81.7、其余54.1），抽样概率与评分标准化指标成比例，抽样与评分的相关系数在5%预算下约为0.03；作者据此把概率样本作为全文其余部分的基础。

在基准研究中拆解PP-TS的增益来源：仅靠跨域收缩（HT输入、仅截距连接）几乎不改善，主要增益来自域层协变量与分类平滑；辅助信息在域层的价值无法由其单元层准确度推断。 这回答了“用哪种平滑模型、平滑多少”这一此前被列为开放问题的实践疑问，并说明两个单元层相关性几乎相同的弱辅助（数学专家模型与小型通用模型）在域层带来的RMSE下降差别很大。 在10%预算下，历史难度这一强辅助（单元层相关0.61）使PP-TS的RMSE为0.059；两个弱辅助单元层相关分别为0.31与0.33，但通用模型的域均值比专家模型带来更大改善，分类平滑恰好吸收了专家模型在MATH与IFEval上不均匀的误差模式。

该流程面向以概率样本为基础、且报告维度把总体划分为已知规模域的分解式评测，适用于基准任务类型与部署系统流量两类场景；当域层协变量可得时，平滑模型还可用于没有标签单元的域，但作者把这种零样本域评测何时可靠列为开放问题。对实践者而言，可直接复用的是“先设计抽样、再拟合候选估计器、最后用DB-CV在单份样本上选择并报告误差”的三步工作流，以及公开的代码与处理后的数据。

两个案例各只覆盖一个数据集：基准侧是Open LLM Leaderboard中phi-4的34个任务类型，流量侧是PRISM的63个域，结论在更多模型、更多报告维度与不同抽样设计下的表现仍需观察。作者也指出，平滑模型的两项假设（直接估计的抽样模型近似、连接模型的设定）在小域中最关键，而辅助信息在域层的价值与分类平滑的增益都随数据变化，因此连接结构必须被验证。此外，DB-CV的样本层偏差修正依赖“每次留一折的拟合以全样本拟合为中心、相差一个高阶余项”的近似；作者提到Dong and Li (2026)的调整分数在该任务上因保守界而对每一对比较都弃权，说明不同偏差处理方式在实践中的行为仍有差异。开放问题还包括：零样本域评测的可靠性条件、评分者之间分歧作为测量误差纳入不确定性、以及把部署系统产生的大规模非概率样本与概率样本结合以抵御选择偏差。