风险受控的候选筛选不再依赖共形p值:UNEC直接校准截断,模拟全网格每次重复约1.3秒,SCoRE约35至37秒
核心概要
机器学习筛出的候选远多于能实验验证的数量,筛选过程需要在验证前控制风险。UNEC把预测裕度按局部不确定性归一化,再用留出损失直接校准选择截断,不构造共形p值或e值,支持一般有界损失与逐观测阈值。在溶解性、毒性和亲脂性三类分子筛选任务上,它保持与共形选择、NP方法和SCoRE各变体相当的风险—功效权衡;模拟中全网格每次重复约1.3秒,SCoRE约35至37秒。
深度剖析
风险受控的候选筛选现在可以直接由预测和留出损失定出截断,不必先构造共形p值或e值再走多重检验。 此前的共形选择把共形p值与多重检验结合来控制错误发现率,SCoRE则用风险调整的共形e值处理一般有界损失。 在五个数据生成过程的模拟中,UNEC的经验错误发现率在测试的各个目标水平上贴近名义值;在偏离位置—尺度结构的两个高斯混合过程中,共形选择变得保守,而NP方法和不做归一化的UNEC-Raw在较小目标水平上可能超过名义值。
做法是先把预测裕度除以局部预测不确定性,得到标准化分数,再在留出校准集上按排序分数和累计损失挑选满足风险约束的最小截断。 归一化让拟合均值相近但预测不确定性不同的候选被区分开,校准则直接使用经验损失曲线,而不是对每个候选阈值计算e值。 模拟中每个重复使用训练、校准和测试样本,预测与尺度估计都用随机森林;分子任务的数据来自TDC,结构用SMILES表示并经DeepPurpose中的AttentiveFP编码,覆盖共同单侧阈值、逐分子阈值和双侧区间三类目标。
在共同单侧二值目标的位置—尺度模型下,UNEC的渐近功效达到逐观测选择规则中的oracle上界。 一般有界损失下的最优排序依赖具体损失,因此功效最优性只在二值损失、错误发现率即选择性发现风险的条件下给出。 该结论建立在oracle标准化裕度与后验成功概率同序、以及估计分数和截断收敛到oracle对应量的论证之上。
启示与展望
演示范围是五个模拟数据生成过程和TDC上的三个分子性质筛选任务,分别对应共同单侧阈值、逐分子阈值与双侧区间目标;分子筛选结果只用于候选优先级排序,不确立单个化合物的安全性或有效性,下游使用仍需实验验证。
选择性发现风险控制是渐近的,有限样本下未调整规则在较小校准样本上可能出现轻微超出;功效最优性结论限于共同单侧二值损失的位置—尺度模型,向更一般损失和模型推广有限样本选择性风险控制与功效刻画仍是待做的工作。
