跳到主要内容
返回时间线
arXiv来源发表:

CADS给LLM提议者算净贡献:去掉LLM的同一筛选回路才是对照,命中数会高估

核心概要

在顺序生物筛选中,大模型提议的候选常按命中数计功,但重选策略和随机补位本身也会产生命中。CADS把完整回路与去掉提议者的同一回路各自做错误率受控的判定,再取两者认证发现数的配对差;在DepMap模拟中,无LLM回路单独就能通过常规反馈门槛,按来源计数会把Qwen2.5-7B的净贡献从接近零抬到看似为正。

AI-generated editorial illustration: CADS: Measuring the Incremental Contribution of LLM Proposers in Sequential Biological Screens

深度剖析

衡量大模型提议者对生物筛选的贡献,需要一个把提议者拿掉、其余环节完全相同的对照回路,而不是统计有多少命中由模型提出。 常规做法用原始命中数或来源归属给提议者记功,但回路里的重选策略和补位机制本身也会找到命中,模型选中的候选还可能挤掉补位本会发现的命中。 在DepMap 26Q1 ACH-000446为后盾的模拟中,不含LLM的回路在全反馈下认证出真实发现,与无反馈和打乱反馈的配对区间都不含零,说明标准反馈门槛在没有LLM时同样能通过。

CADS把每一轮读数转成有上限的证据增量,跨轮累积成随时有效的e过程,最后对登记的全部候选做一次e-BH判定,得到受控的终端错误发现率。 上限似然比增量限制单次读数的影响,e过程允许自适应抽样和可选停止,完整家族e-BH在任意依赖下给出终端判定;这些统计部件来自已有的bandit多重检验与稳健e值方法。 在冻结工作点,CADS平均认证245.7个真实发现、0.033个错误发现,功效0.396;朴素BH功效0.816但平均错误声明300.8个,FDR为0.372,未加上限的LR e-BH的FDR为0.251。

按来源归属会把提议者的净贡献算大,因为模型占用的槽位挤掉了补位本可发现的命中。 薄提示下Qwen每次实验认证2.95个发现,其中LLM来源与补位来源分开计数时看似LLM占多数,但LLM只填了57.7个新槽位,补位填其余槽位并找到相应命中。 去掉LLM后补位填满全部槽位,净贡献只剩0.30,说明只有与无LLM回路的头对头配对才给出净增益。

启示与展望

这套测量在DepMap 26Q1 ACH-000446等公共参考效应支撑的顺序模拟中演示,覆盖一个T细胞Perturb-seq参考、一个PRISM参考和六个DepMap 24Q4细胞系参考,并非前瞻性湿实验;读者应把它当作筛选回路的测量工具,而不是生物学结论。

保证依赖预先登记的候选家族、正确设定的单侧零假设和有效的污染上界,零假设设定错误可能使控制失效;初始20个种子上Qwen的净效应在50种子等配额复现中没有保持,三个模型的提示效应在 Holm 校正后都不排除零,固定非LLM先验仍强于所有模型。