候选独立块因果注意力让决策模型对候选排序不再敏感，同时保持决策质量
核心概要
该工作提出候选独立块因果注意力：在共享上下文与每个候选内部保留因果计算，同时阻断候选之间的信息流并重置候选位置；在 Gemma 3 1B、Qwen3 1.7B 与 Qwen3 4B 三个骨干上，与标准因果注意力和互补的不变性基线相比，该架构一致地降低了排列敏感性并保持有竞争力的决策质量，消融显示候选隔离是主要来源，位置重置补全了目标对称性，另有一项使用更多训练数据的 Qwen3-4B 研究进一步考察该架构的行为。
Fig. 1: Structural attention masks for one prompt with four candidate blocks. Dark cells are permitted attention. Causal attention exposes earlier candidate blocks; CI attention exposes only the shared prefix and the current candidate block.
arXiv深度剖析
提出候选独立块因果注意力，使单个候选的得分不再依赖其在序列中的排列位置。 标准因果交叉编码虽然表达力强，但会让候选得分取决于序列化顺序而非决策问题本身；该架构在共享上下文和每个候选内部保留因果计算，同时阻断跨候选信息流并重置候选位置。 在 Gemma 3 1B、Qwen3 1.7B 和 Qwen3 4B 三个骨干上与标准因果注意力及互补的不变性基线进行对比，报告排列敏感性一致降低且决策质量保持有竞争力。
消融表明候选隔离是降低排列敏感性的主要来源，位置重置补全了目标对称性。 把架构效果拆分为候选隔离与位置重置两个组成部分，指出二者的相对作用。 基于消融实验的归因结论，摘要未给出具体消融数值。
在更大规模训练数据下进一步考察该架构的行为。 除三个骨干的对比外，另设一项 Qwen3-4B 研究，使用显著更多的训练数据。 摘要仅说明该研究存在及其数据规模更大，未报告具体结果。
启示与展望
该结果面向以单序列编码可变大小候选集合的决策模型，尤其是生成式系统中候选可能被以不同顺序提出的 System 1 组件。适用场景是需要在共享上下文与候选内部保留因果计算、同时要求候选得分不随序列化顺序改变的情形。作者公开了代码仓库与 Qwen3-4B 模型产物，便于在同类骨干上复现与扩展；更大训练数据下的 Qwen3-4B 研究为进一步观察该架构在数据更充足时的行为提供了入口。
摘要未给出排列敏感性的具体度量、决策质量的具体指标、训练数据规模与消融数值，因此降低幅度与质量代价的大小仍待正文确认。更大训练数据下的 Qwen3-4B 研究结果在摘要中未展开，其是否改变结论方向属于开放问题。此外，候选隔离阻断跨候选信息流，是否会限制需要候选间相互比较的决策任务，也是读者可继续关注的方向。