六个预训练语言模型的残差流在早期就偏向自身终点，但竞争者集合随深度收缩时成员仍在换血
该研究把每个上下文自身的最终残差状态与来自其他上下文的最终状态库作比较，在 Gemma-2B、Gemma-7B、Qwen2.5-1.5B、Qwen2.5-7B、Mistral-7B 和 Llama-3-8B 六个预训练模型上发现：自身终点在最早测量层就比平均替代终点更近，但许多单个替代终点仍更近；竞争者集合随深度总体缩小，却同时存在进入与退出，且方向对齐可以在欧氏距离几乎不变时改善；作者还给出一个高维模型分离范数、对齐与终点几何的作用，并证明朝自身终点的直线路径不会引入新竞争者。