跳到主要内容
返回时间线
arXiv来源发表:

LANTERN 用 Qwen3-32B 隐藏状态在 8 小时内从 OEIS 5000 万对序列中筛出 62 条已验证关系,其中 4 条未见于 OEIS 与定向文献检索

核心概要

LANTERN 在预训练模型 Qwen3-32B 的激活上训练线性分类器,对 OEIS 中 1 万个高频引用序列构成的 5000 万对候选关系排序,再经廉价过滤、假设生成、可执行验证与解析检查,产出 62 条此前无 OEIS 交叉引用的已验证关系,内容筛查保留 13 条、其中 9 条具信息性或洞察性,4 条未见于 OEIS 与定向文献检索,端到端耗时不足 8 小时。

AI-generated editorial illustration: LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models

深度剖析

预训练语言模型的隐藏状态中已编码此前未被记录的数学对象间关系,且这种知识可直接用于排序候选关系。 此前 AI 数学发现系统多依赖人类给定目标、文献中已写出的命题、知识图谱拓扑或模型自身生成;该工作改为按模型隐藏状态对知识库中每一对对象打分排序。 在 OEIS 上以实质性交叉引用为标签训练线性分类器,对 1 万个高频引用序列的全部 5000 万对打分;对照实验显示,在 793 条留出链接上文本评分器处于随机水平(AUC 约 0.5),而基于激活的分类器在三种模型规模上达到 AUC 约 0.6 至 0.7 区间。

LANTERN 是一条低成本、高效率的发现流水线,把排序、过滤、假设生成与验证串成端到端流程。 该工作给出可复用的四阶段流程:分类器排序、廉价过滤、带工具智能体提出假设、沙箱数值验证加解析检查,并报告各阶段耗时。 主配置把 5000 万对压缩到 500 个候选,118 个通过廉价过滤,44 个获得假设且全部通过沙箱验证与解析检查;分类器训练与 5000 万对打分耗时 8 分钟,端到端含标注、嵌入、过滤与智能体共不足 8 小时。

在 OEIS 上,该流水线产出 62 条技术验证关系,内容筛查保留 13 条,其中 9 条具信息性或洞察性,4 条未见于 OEIS 与定向文献检索。 这些关系是 OEIS 中原本没有交叉引用的配对;其中两条跨域桥接(一维与二维元胞自动机、连分数与 5-core 分拆)被标为 N2/S2,另两条 N2/S1 提供计算路径。 62 条为三种配置输出的并集(主配置 44 条,两个变体各 3 条与 15 条);内容筛查按精确性、配对特异性与是否使用双方实质结构逐条判定,保留 13 条;新颖性由 OEIS 与定向文献检索判定,作者明确 N2 不确立优先权。

对照实验分别排除了表面文本、页面记忆与训练标签三种替代解释。 该工作用同一标签与负样本训练文本评分器作对照,并用训练快照后新增的交叉引用与 2026 年新建条目做后截止测试,另用无标签直接提问做读出。 在 2379 个 2026 年新建条目及其 5557 条指向旧条目的交叉引用上,仅在旧条目交叉引用上训练的分类器达到 AUC 约 0.7 区间,而文本评分器从约 0.8 降至约 0.6 区间;无标签提问与分类器在 74 个未来实质性配对上的中位百分位几乎相同(88.5 与 88.0)。

启示与展望

该结果面向拥有大型结构化知识库、且对象有明确定义、关系有记录、假设验证成本较低的场景,OEIS 正是同时满足这三点的测试床。方法本身可迁移到其他具备显式链接与可执行验证的知识库,作者也把“预训练表示可作为发现未记录关系的实用指南”作为结论。对读者而言,可直接复用的是四阶段流程与对照设计:用隐藏状态排序候选、用廉价过滤压缩队列、用带工具智能体生成可执行假设、再用数值与解析双重检查。作者同时说明,62 条是三种配置输出的并集而非单次运行结果,13 条经内容筛查保留,9 条为 S1/S2,4 条未见于 OEIS 与定向文献检索。

推导由语言模型生成且未经数学家检查,因此 62 条关系的数学地位仍需人工复核;N2 只表示未在 OEIS 与定向文献检索中找到,作者明确它不确立优先权,也不主张底层恒等式是新定理。OEIS 是高度结构化的测试床,语料偏向被频繁引用的序列,且只评估了一个预训练模型家族,因此对更不形式化对象或其他知识库的适用性仍是开放问题。对照实验的结论也随评估集合变化:在训练快照后新增的链接上各评分器差异不显著,而在主题匹配测试上激活分类器优于文本评分器;附录 D 还指出 74 个未来配对约对应 45 个不同事实,其中过半属于两种模板,这会影响对评分器泛化能力的解读。此外,附录 A 中 20 条陈述的内容筛查仅依据条目的公式与注释行,未读全文,这一范围限制会影响对筛查严格程度的判断。

来源