跳到主要内容
返回时间线
arXiv来源发表:

用CW复形与zigzag持久同调刻画大模型能力空间:单胞附着只能创造或消灭一个同调类

相关研究与后续进展

核心概要

作者提出一个拓扑模型,把知识状态与预先登记的能力探针表示为有限正则CW复形的子复形,证明附着单个n-胞只能创造H_n中的一个类或消灭H_{n-1}中的一个类;以可靠性阈值和训练检查点为两条参数轴,能力增益与损失使训练轴上的空间非嵌套,用并集或交集桥构造zigzag持久模并区分检查点类、过渡类与桥敏感类,并用边界矩阵计算了一个有限四阶段例子。

Source-provided article image: Geometric Realizations of Capability Spaces of Large Models and Zigzag Persistent Homology
Figure 1 ·

checkpoint direction is illustrated in Figure 1.1 (this figure shows two persistence directions of the

arXiv · 第 3 页

深度剖析

提出胞腔知识状态(CKS)模型,把知识项、推理路径与高阶综合放进同一个有限正则CW复形,可容许状态取为子复形,并要求每个被纳入的胞在数据分析前已有可操作的精通判据。 经典知识空间理论此前用预拓扑、分解与粘合研究知识空间,本文改问胞附着与同调如何变化,并引入带语义标签的胞腔几何对象。 以定义与命题形式给出(定义3.3、3.4),并配一个前置条件例子(例3.2)说明并封闭性;属概念性建模,无外部数据。

证明附着单个n-胞时只有H_n与H_{n-1}可能改变:若连接映射秩为1则在H_n创造一类,若连接映射非零则在H_{n-1}消灭一类,其余Betti数不变。 把“能力出现或消失”的局部事件化为可计算的相对同调长正合列结论,并由此推出新顶点加两条边再加一个2-胞的净同调效应(推论3.8)。 定理3.7给出基于相对链复形与长正合列的完整证明;推论3.8给出分步论证;例3.17用边界矩阵在有限例子上算出具体Betti数。

指出沿训练轴的能力空间一般非嵌套,因而用并集或交集桥把检查点序列变成zigzag持久模,并区分检查点类、过渡类与桥敏感类。 普通持久同调要求嵌套过滤,无法表达遗忘;本文用zigzag表示学习、遗忘、恢复与结构替换,并说明历史并集过滤无法区分“现在存在”与“曾经存在”(命题3.18)。 命题3.15证明桥仍是子复形且有限维zigzag模有唯一区间分解;命题3.18给出包含关系证明;桥规则被明确列为建模选择而非唯一答案。

给出从行为数据到拓扑的构造:探针分数、提示改写与随机种子构成有限多重集,按阈值取子复形得到每个检查点的能力复形,并规定同调变化只有在通过稳健性检验、零模型比较与独立行为验证后才称为候选能力涌现。 把“涌现”从单一分数跨阈值改为结构性问题,并给出可操作的三级定义(候选胞事件、候选拓扑涌现、候选能力涌现)。 定义3.10、3.11与命题3.13给出构造与单调性;文中明确不规定通用统计检验,要求研究者预先登记统计量、阈值网格、重采样单位、零假设与多重检验校正。

启示与展望

该框架适用于把预先登记的能力探针分数转成有限正则CW复形子复形、并在固定检查点与固定阈值两条一维切片上分析的情形;对满足嵌套的理想学习者,普通持久同调已足够,zigzag用于存在删除的非单调过程。它使研究者能把“能力数量”与“能力组织”分开度量,并为学习、遗忘、恢复、结构替换提供同一代数语言下的比较;报告时应给出检查点与训练数据阶段、能力胞与探针的操作定义、阈值与桥规则的敏感性分析,以及条形码变化与连续行为分数。

同调类与语义能力的对应仍需独立行为证据,作者明确不把每个同调类等同于语义能力,也不把拓扑相关解释为因果机制;桥规则的选择会改变区间延续,并集与交集方案应作为敏感性分析同时报告;有限样本可能误分类胞,经典稳定性定理并不直接给出训练zigzag的统计稳定性;正则CW假设排除了重复顶点或边的闭合走道,方向敏感的不变量需改用有向复形、路径同调或箭图表示。此外,本文未提供外部数据集或代码,因此框架在真实训练轨迹上的表现仍是开放问题。

来源