单个神经元不专一，不代表网络不模块化：换一组线性坐标，任务就能被单独关掉

模块化不再只按单个神经元是否专一来判断，而是分成单元级、正交级和线性级三层：单元级要求不同计算占用互不重叠的神经元，正交级只要求存在一个旋转把功能独立的子空间转出来，线性级进一步允许有界的可逆线性变换把计算分开。 此前的通行做法是看单个神经元或体素的选择性，按这一标准，tanh 网络和多数 Transformer 普遍呈现混合选择性，因而被判定为缺乏模块结构。 在 Yang 多任务认知任务上，softplus 网络在单元级就得到双重分离指数 0.59，而 tanh 网络单元级只有 0.03，正交分解升到 0.47，线性分解达到 0.70，同一批网络在单元级看不到的分离在子空间级出现。

判断一个分解是否真的功能模块化，用的是消融：把某个子空间在推理时置零，看它是否只损伤对应功能而基本不伤另一个功能，两个方向都成立才算双重分离。 此前的选择性指标只说明某个单元或方向与任务相关，并不说明计算依赖它；在 Mante 任务上，回归得到的运动与颜色单轴预测精度很高且近似正交，但消融任一轴带来的精度变化不到 0.5%。 在 Mante 上下文依赖整合任务上，线性分解在子空间维度取 8 到 16 时双重分离指数随维度上升后趋于平台，消融运动子空间使运动精度下降而颜色精度几乎不变，消融颜色子空间呈对称模式。

分解通过带监督的目标学出来：有明确输入输出任务的循环网络用任务充分性目标，让每个子空间单独就足以完成自己的任务；预训练视觉和语言模型没有任务标签，改用最小对比对做对比学习。 视觉上最小对比对是同一场景的不同风格化图像与同一风格下的不同场景，语言上是保持语义的复述句与共享句法模板但词汇不同的句子。 两个对比损失作用在变换后表示的不重叠坐标块上，梯度只更新变换矩阵中不相交的列，因此几何分离由构造保证；视觉用 MS-COCO 与 Paint by Numbers 构造的 64 万对图像训练，语言用 MSR Paraphrase Corpus 的 3900 对句子训练。

这套层级在三个设定中被演示：Yang 与 Mante 的多任务循环网络、预训练视觉模型的内容与风格、预训练语言模型的句法与语义，评估方式分别是因果消融和最近邻检索。适合关注机制可解释性、表征分解以及模型与脑数据对齐的研究者阅读。视觉与语言部分目前用检索式选择性衡量子空间质量，作者提出下一步可以补上行为评估，例如投影掉内容子空间后看物体识别是否选择性受损而纹理判断是否保留。

分解需要非凸优化，对子空间维度、条件数上界和学习率等超参数敏感。残差子空间并非纯噪声，它可能包含或支持任务相关信息，但这些信息是共享或冗余的，而非选择性地归属某一任务，其组织方式仍不清楚。ResNet 系列是主要例外，各子空间类型的风格检索都偏弱。作者也指出，子空间结构与维度如何随训练和层数演化、层级能否自然扩展到两个以上功能的多路分解，仍是未解问题。