数学
73 条内容
开放问题,开放数学
这篇由 Antonio Auffinger 撰写的客座文章,基于其与生物学家、计算机科学家和物理学家交流的经验,讨论数学在 AI 时代面临的开放共享文化可能被削弱的问题,主张数学界重塑激励与署名方式,并指出生物学等应用科学提出的问题会催生新的数学,同时数学的抽象能力也将继续帮助理解复杂数据与现象。
只用1%的token就能追平全量蒸馏:IER用梯度估计可靠性重排稀疏监督
该工作把在线策略蒸馏(OPD)中的token选择问题重新表述为固定前缀下的梯度估计可靠性问题,在信息几何下把单样本反向KL梯度分解为信号与采样噪声,提出信息效率比(IER)作为最优标量基线下的信噪比,并用top-K候选集近似来排序token;在数学与医学推理任务上,IER单独作为选择器在0.1%–1%的极小token预算下接近或超过全量OPD,与已有有用性分数结合后(IER-OR、IER-AND)在多个设置下匹配甚至超过全量OPD。
把调查统计的小域估计搬进AI评测:PP-S与PP-TS在基准和真实流量上同时改善点估计与区间,DB-CV用一份样本选出与独立验证样本同样好的估计器
该工作把AI评测的分解式评估视为有限总体抽样问题,提出对小域直接估计做贝叶斯平滑的PP-S及其沿报告分类层级借力的扩展PP-TS,并推导近似无偏的设计型交叉验证分数DB-CV;在Open LLM Leaderboard(9,324题、34个任务类型)与PRISM部署流量(68,371条评分回复、21个LLM×3种对话类型)两个全部结果已知的数据集上,平滑估计器在点估计与区间估计上均优于直接估计器、覆盖率接近名义95%,且DB-CV在同等预算下选出的估计器与独立验证样本相当,并更准确地报告所选估计器的误差。
把KDA的门改成可正可负后,单层CKDA能跟踪有限群并外推周期波形,1.3B模型下游精度与KDA持平
该工作提出Complex KDA(CKDA):在Kimi Delta Attention基础上同时放开门控符号(gate entries in {−1,+1})与delta-rule系数范围(β∈[0,2]),使单次对角加秩一转移即可实现二维旋转;作者证明每个正交对角加秩一矩阵都恰是一个CKDA转移,单层CKDA可跟踪同构于O(2)子群的有限群、多层结果比同类对角加秩一线性RNN少用一层,并在群词问题、周期音频续写与语言建模上给出实验。
把“教师自身漂移”从蒸馏信号里剥离:Cal-OPD 的校准式在线蒸馏
该工作指出在线蒸馏(OPD)所用的教师—学生逐词差异中混入了教师自身的上下文诱导漂移(Teacher Self-Deviation, TSD),并提出 Cal-OPD:用正负特权干预估计教师的自我漂移区间,只保留超出该区间的残差作为优化信号,在数学推理基准上仅保留约 52–65% 的原始差异却稳定优于标准 OPD 及其多种变体。
为什么我们还需要人类数学家?
这篇由 Po-Shen Loh 撰写、Terence Tao 博客刊载的客座评论提出,应以“人类应帮助人类繁荣”作为数学界乃至所有行业的核心公理,并据此论证:AI 越发展,需要人类监督与掌控的“控制点”就越多,从而产生大量高技能岗位,最终反而迫使 AI 发展放缓;作者同时讨论了纯数学对人类繁荣的贡献,以及采纳该公理可能带来的实践变化。
如果数学不止于证明,我们就需要更好地褒奖其余部分
这是一篇由 Grant Sanderson 撰写、发表于 Terence Tao 博客的客座评论文章,主张数学界应更明确地定义并给予学术认可一种称为“有动机的解释”(motivated explanation)的工作,即把定义放在中间、允许从不完全正确的直觉出发、旨在回答“你会怎么想到这一点”的阐述性工作,并给出若干具体制度建议,例如把小型问题的交付物改为讲解报告、设立“未解阐述问题”清单、创办面向理解的期刊、以及在招聘与终身教职中更重视优秀教材写作。
MilleMiglia:面向中程物流的现实实例生成器
该工作提出并开源了 MilleMiglia——一个用 C++ 编写、以 Protocol Buffers 序列化的实例生成器,通过空间分布、需求与车辆班次等统计分布合成中程物流网络,把固定班期、分拨中心吞吐上限与跨车同步等硬约束内嵌于统一数据格式,从而在保护企业隐私的前提下为学界提供从小规模“玩具”问题到洲际工业规模的可复现基准。
SAIR 开放数学模型倡议
这篇博文由 Terence Tao 发布,宣布 SAIR 基金会启动“开放数学模型”倡议,邀请数学界与支持者共同构建开源模型,并公开征集在资金、算力、专业知识和社区建设方面的合作伙伴;倡议提出模型由社区塑造、面向日常数学工作(理解论证、核对文献、探索例子、写代码、形式化证明)、开放开发(开放许可的权重与代码、公开训练方法、可复现评估)、数据由数学社区拥有、共享知识产权(如 Apache 2.0、MIT、CC BY 4.0)以及开放社区与治理等原则,并说明因当前形势与对开放模型的高需求而提前发布公告。
第 6 页 · 当前显示 10 项