研究者提出数学基元概念与四维基准,诊断出发现能力是LLM数学推理的主要瓶颈,并用基元优先自蒸馏框架提升推理表现
该工作提出“数学基元”概念与一个从发现、生成、消化、执行四个维度评估数学推理的基准,系统诊断显示解题准确率会掩盖不同的能力画像、基元能释放大量潜在执行能力、发现是数学推理的主要瓶颈,且受发现限制的失败更易修复;据此提出基元优先的自蒸馏框架,将基元引导的推理选择性迁移到学生模型,在多种模型规模和挑战性基准上稳定优于基线。
该工作提出“数学基元”概念与一个从发现、生成、消化、执行四个维度评估数学推理的基准,系统诊断显示解题准确率会掩盖不同的能力画像、基元能释放大量潜在执行能力、发现是数学推理的主要瓶颈,且受发现限制的失败更易修复;据此提出基元优先的自蒸馏框架,将基元引导的推理选择性迁移到学生模型,在多种模型规模和挑战性基准上稳定优于基线。
已读完全部报道