六个预训练语言模型的残差流在早期就偏向自身终点，但竞争者集合随深度收缩时成员仍在换血

研究提出并检验“几何推断假设”：中间残差状态表达对可能最终状态的部分区分，残差更新通过相对几何的变化细化这些区分；操作化方式是把每个中间状态与自身终点以及一个固定的最终状态库比较，竞争者定义为比自身终点更近的替代终点。 此前工作表明中间状态可解码出最终预测信息、最终表示具有与输出相关的几何结构，但未刻画中间状态在多大程度上把自身上下文的最终表示与替代表示区分开、以及这种区分如何随深度演化；该工作用固定终点库把“选择性”变成可测量的竞争者集合与竞争者比例。 在六个预训练模型上、每个模型 1,024 个来自 FineWeb sample-10BT 的非重叠 256 词上下文上测量，使用文档聚类自助法（1,000 次重采样）给出不确定性；作者明确说明竞争者比例是终点库内的几何特异性度量，不是校准的词元概率。

自身终点在最早测量层就获得平均偏好，但同时存在大量更近的单个替代终点；竞争者集合随深度总体缩小，且余弦集合在均值下降的深度区间内同时出现进入与退出，说明细化会修正早先的终点比较。 这区分了“平均偏好”与“个体选择性”两件事，并表明竞争者集合的收缩不是对固定集合的逐次剔除；作者证明朝自身终点的单调直线路径在欧氏与余弦距离下都会产生嵌套竞争者集合，因此观测到的进入意味着相关轨迹偏离了直线收敛基线。 六个模型在两种度量下，文档平均边际从最早测量层即为正；欧氏距离下五个模型在相当一部分深度上仍保留数百个竞争者；余弦集合的进入与退出在 Qwen2.5-1.5B 中持续存在，欧氏集合在大部分轨迹上更接近嵌套、主要在后段变化。

方向对齐与终点排名可以改善，而到最终状态的欧氏距离几乎不变；作者用范数、对齐与终点几何的分解说明，对齐上升可被范数变化抵消，从而在欧氏距离平台上出现方向性细化。 这把“距离”与“方向特异性”拆成不同视角，解释了为什么距离、竞争者数量与幸存终点的集中度会给出不同的过程图景；作者还给出一个精确的固定库构造，其中竞争者数量下降而平均成对距离上升，说明收缩不等于更凝聚。 在 Mistral-7B 与 Llama-3-8B 的中间层观察到方向对齐改善而欧氏终点距离近乎恒定；余弦曲线在终点库均匀子采样下保持稳定；作者明确说明该构造是数学反例，不构成观测轨迹中的凝聚趋势。

仅用最终状态拟合的终点分布可以预测留出轨迹上的平均竞争：投影正态族在六个模型中的五个给出最低的余弦竞争者比例预测误差，vMF 混合在 Gemma-7B 略优，两者在所有六个架构上都优于均匀球基线。 这把终点总体几何与轨迹上的竞争质量联系起来，检验的是在中间状态与自身终点固定时，拟合分布能否预测未见轨迹上的竞争质量；作者报告最佳留出诊断分数相对球面提升若干倍。 文档按约 60/20/20 划分训练、验证、测试，拟合与选择只用最终终点；预测误差用以 10 为底的对数尺度上的平均绝对差，排除最后一层；配对比较在 Gemma-2B 与两个 Qwen 模型上区分投影正态与混合，在 Gemma-7B、Mistral-7B、Llama-3-8B 上未能区分。

该结果适用于六个基础预训练语言模型在 FineWeb 文本上的最终输入位置残差轨迹，以及以最终状态库为参照的几何特异性测量；对希望研究残差流如何逐步收敛到特定输出的读者，它提供了竞争者集合、竞争者比例、进入退出与边际方程这套可复用工具，并提示可以在竞争者边际穿越处做干预以检验几何偏好与词元预测的关系。作者也指出，拟合分布只预测观测轨迹上的竞争，不解释残差更新的来源与时机，追踪终点总体与残差轨迹跨训练检查点的共同演化是自然的下一步。

竞争者集合依赖终点库与度量，其规模在自身终点处按构造归零；终点几何只解释模型输出变化的一部分，观测到的成员换血并不确立存在显式的内部搜索过程。作者指出，拟合分布预测的是观测轨迹上的竞争，残差更新的来源与时机仍未解释；投影正态与 vMF 混合在部分模型上的差异在文档自助法下无法区分，且这些区间不含重新拟合终点模型的不确定性。此外，随附材料未包含提取与分析代码、逐上下文残差数组、拟合终点模型与随机种子，若干实现约定（替代终点投影约定、投影正态采样实现、库大小采样约定、排名趋势检验）仍需在独立复现时厘清；本次读取为全文，但图表数值细节以正文与附录文字为准。