# 旋转位置编码

视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。

视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。

多体纠缠的判定不再依赖重构完整密度矩阵或预设的纠缠判据。EntNet把一维自旋链上二至四体的Pauli关联整理成局域基变换下不变的表示，稀疏筛选出16个特征通道，再用带旋转位置编码的Transformer学习这些特征沿链的空间排布。在有限温度XY链基准上，它仅凭这些低阶可观测量的期望值就达到100% AUROC，并在2000个构造性可分离态上把假阳性率控制在0.003；同一模型不经重训即可迁移到XXZ、阻挫J1–J2与随机局域哈密顿量族以及更长的链。

多体纠缠的判定不再依赖重构完整密度矩阵或预设的纠缠判据。EntNet把一维自旋链上二至四体的Pauli关联整理成局域基变换下不变的表示，稀疏筛选出16个特征通道，再用带旋转位置编码的Transformer学习这些特征沿链的空间排布。在有限温度XY链基准上，它仅凭这些低阶可观测量的期望值就达到100% AUROC，并在2000个构造性可分离态上把假阳性率控制在0.003；同一模型不经重训即可迁移到XXZ、阻挫J1–J2与随机局域哈密顿量族以及更长的链。

作者提出WavePrune，一种免训练方法，将每个RoPE通道的注意力限制在其首个旋转周期内，从而消除位置混叠造成的“幽灵”次对角线；在五个长上下文模型中的四个上提升HELMET得分（Qwen3-8B由35.7升至40.0），在从头预训练时降低外推长度上的验证损失，并通过FlashWavePrune在32K上下文相对FlashAttention-2取得1.15倍预填充与1.24倍解码加速。

作者提出WavePrune，一种免训练方法，将每个RoPE通道的注意力限制在其首个旋转周期内，从而消除位置混叠造成的“幽灵”次对角线；在五个长上下文模型中的四个上提升HELMET得分（Qwen3-8B由35.7升至40.0），在从头预训练时降低外推长度上的验证损失，并通过FlashWavePrune在32K上下文相对FlashAttention-2取得1.15倍预填充与1.24倍解码加速。

作者提出一个分析上下文影响的推理动态理论框架，证明在受控单轮设定下，重复的上下文断言不会使内部推理轨迹无界漂移，而是收敛到稳定的、依赖查询的极限，因此重复断言并不充当累积证据，可能无法改变预测，也可能必然改变预测；并在六个模型与多个问答基准上验证了表示层动态与输出层答案变化的一致性。

作者提出一个分析上下文影响的推理动态理论框架，证明在受控单轮设定下，重复的上下文断言不会使内部推理轨迹无界漂移，而是收敛到稳定的、依赖查询的极限，因此重复断言并不充当累积证据，可能无法改变预测，也可能必然改变预测；并在六个模型与多个问答基准上验证了表示层动态与输出层答案变化的一致性。

作者提出MAGEFormer，把物理间距约束嵌入表示学习：用MASE按体素间距校准位置频率、用GCA抑制物理上不合理的跨尺度特征关联、用GVV在推理时做确定性亚体素视图聚合；在BTCV与FLARE 22统一5折协议下，其边界精度在对比方法中最优（HD95分别为10.58 mm与3.40 mm），Dice也一致提升，且各向异性越强优势越大。

作者提出MAGEFormer，把物理间距约束嵌入表示学习：用MASE按体素间距校准位置频率、用GCA抑制物理上不合理的跨尺度特征关联、用GVV在推理时做确定性亚体素视图聚合；在BTCV与FLARE 22统一5折协议下，其边界精度在对比方法中最优（HD95分别为10.58 mm与3.40 mm），Dice也一致提升，且各向异性越强优势越大。

该工作指出非结构化知识编辑中标准段落级目标会让后出现的事实因上下文更丰富而初始损失更低、显得更易学习，从而造成上下文依赖；为此提出即插即用的 FOVEATED 框架，在编辑时随机偏移某句前文键的 RoPE 位置以构造聚焦视图，编辑后移除扰动、推理时保持原生位置编码不变，并在直接优化与先定位后编辑两类编辑器上实例化，理论分析其如何抵消上下文导致的难度低估，实验在五个知识编辑器、两个大模型骨干和三个基准上取得一致提升。

该工作指出非结构化知识编辑中标准段落级目标会让后出现的事实因上下文更丰富而初始损失更低、显得更易学习，从而造成上下文依赖；为此提出即插即用的 FOVEATED 框架，在编辑时随机偏移某句前文键的 RoPE 位置以构造聚焦视图，编辑后移除扰动、推理时保持原生位置编码不变，并在直接优化与先定位后编辑两类编辑器上实例化，理论分析其如何抵消上下文导致的难度低估，实验在五个知识编辑器、两个大模型骨干和三个基准上取得一致提升。