推理链里的数学表达式不是装饰：屏蔽它们，15个开源模型的答案分布明显变散
核心概要
研究者把数学推理链自动抽成因果图并发布1671题的KisMATH数据集，在15个1B到70B开源模型上屏蔽图中推理节点后答案熵显著上升，说明这些中间表达式是题目通向答案的中介。
深度剖析
数学推理链里的中间表达式被当作可检验的因果中介来对待，而不是一段整体文本。 此前对推理链的扰动多是随机的，比如替换数字或改动示例，并不区分哪些表达式真正参与推导。 在GSM8K、MATH500和AIME三个数学题集上，屏蔽全部推理节点后答案熵显著上升，p值小于10的负12次方。
做法是把推理链里的数学表达式抽出来连成一张有向无环图，节点是表达式，边表示谁由谁算出。 这张因果链图由符号解析器SymPy自动抽取，再按匹配关系从答案反向扩展到题目，最后把边反向。 数据集共1671题，其中GSM8K 983题、MATH500 384题、AIME 304题，每题平均有9到40个中间推理节点、6到10跳从问题到答案。
模型内部似乎也偏向走这张图给出的路径，而不只是被动接受提示。 研究把图中从问题到答案的推理路径概率与同长度的随机路径相比，而不是只看最终正确率。 在MATH500等划分上，多数模型在百分位排名100处出现尖峰，说明相当一部分推理路径整体由高概率转移组成。
启示与展望
这项工作面向数学推理链的分析，覆盖GSM8K、MATH500和AIME三个题集，共1671题，模型侧是15个1B到70B参数的开源模型。抽取流程依赖符号解析，几何题和涉及图形的题目已被过滤掉。数据集与配套产物公开在项目页面，供后续做图对齐的干预实验。
作者指出，约10%的样本在剪枝后退化成只剩答案节点的平凡图，需要人工介入修正，这类修正共涉及约4万个解析顶点中的88个、约30万条边中的71条。方法对几何、抽象数学和常识推理不直接适用。此外，模型行为分成指数型和钟形两种模式，钟形模式对应少数低概率转移，作者将其部分归因于推理过程本身的不确定性，但并未排除建模不佳或幻觉等外部因素。