研究选题卡在第一步：用后续引用做监督，8B模型在留出NLP测试集上分级召回0.452
核心概要
自动科研选题流程里，从文献中找出可被后续工作接手的局限这一步长期缺少直接监督信号。ActLim-Bench 把每篇源论文的局限与后来引用它、并把它当作动机去解决的工作连成证据链，共18,279条带证据三元组。以这一信号做三阶段后训练得到的ActLim-8B，在2024–2025年时间留出的NLP测试集上分级召回为0.452，最强零样本基线为0.262；仅用NLP训练时迁移到计算机视觉为0.314，对应零样本最强0.252。
深度剖析
研究选题流程的起点被单独拿出来训练：模型只读源论文的摘要、引言和结论，就要写出三条具体、可被后续工作接手的局限。 此前的局限数据来自作者自述、审稿意见或受控扰动，这些来源记录的是作者愿意披露或审稿人愿意批评的内容，对哪些短板后来真的成为研究起点提供的证据有限。 在共享1,240篇论文、2,795个样本和约210万目标token、目标长度分布匹配的对照中，后续引用监督的分级召回为0.353，比最强替代来源高0.117；受控扰动为0.236，作者自述为0.193。
监督信号取自后续引用：后来引用源论文的工作会说明它采纳了哪条局限并试图解决，这把主观判断变成可核查的训练目标。 每条记录同时保留源论文与引用论文两侧的证据片段，使单个目标可以被逐条检查，而不只是被打一个分数。 ActLim-Bench 共18,279条带证据三元组，覆盖2017–2025年6,116篇论文；两名标注者审计400条接受的三元组，全部标准同时满足的精确率为0.87，训练集0.88、测试集0.86。
同一套验证信号在三个阶段分别充当示范目标、数据筛选规则和整段回答的在线奖励，最终模型部署时不需要引用论文，也不需要调用验证器。 在生成条目数和验证器调用数都对齐为9,000的预算下，条目级筛选的分级召回为0.410，回答级奖励为0.425，两者叠加得到0.452。 在NLP测试集上，ActLim-8B 的分级召回0.452、具体级召回0.241，最强零样本系统分别为0.262和0.098；盲评人类比较中，其局限在64.9%的非平局比较里被优先选择。
启示与展望
演示范围是NLP与计算机视觉的会议和期刊论文，模型推理时只接收源论文的摘要、引言和结论，引用论文、证据片段与验证器分数均不可见；计算机视觉集只用于迁移评估，未参与训练或模型选择。
基准只记录后来确实被跟进工作采纳的局限，因此它是可行动性的代理而非科学价值的度量；一条局限可能因时机、资源或研究重心变化而未被跟进，被跟进的方向也不一定是论文最重要的短板。计算机视觉论文平均观测目标数少于NLP（2.05对2.50），绝对召回值需在各自域内解读。