长上下文里自洽性反而拖后腿：八次采样七次错在同一处，位置偏置被投票放大

自洽性在长上下文任务上不再带来提升，反而普遍造成性能下降，这与它在短内容任务上的表现相反。 此前自洽性被当作能跨任务、跨领域提升大模型可靠性的通用策略，其有效性主要建立在短内容任务上。 在56个数据集与模型组合中，只有3个组合出现统计显著提升，而ROUGE指标下有79%的组合显著下降，例如Qwen-2.5-3B在GovReport上下降5.0。

这种下降来自位置偏置：模型系统性地更依赖上下文的某些区域，而自洽性把这种偏置放大而不是抵消。 自洽性的前提是多次采样之间的错误相互独立，聚合才能滤掉随机错误。 在NQ-Open的问答任务上，准确率随金标文档位置呈U形，中间位置明显下降；在文本检索任务上则随位置单调下降，30篇文档场景下金标落在后三分之一时准确率下降约40%。

错误在聚合之前就已经高度相关，八次采样常常一起错。 如果错误独立，八次采样中应当有相当比例命中正确答案。 在30篇文档且答案位于末尾的检索场景中，近60%的情况下八次中间采样没有任何一次找对来源文档；问答示例中八次生成有七次给出同一个错误答案。

这项工作评估的是最长约30篇文档、5至10K token的上下文，任务集中在文本类的摘要、问答、多跳推理与受控位置探测，读者对象是使用采样聚合方法处理长输入的研究者与工程实践者。作者明确把工作定位为问题刻画而非解决方案开发，并在讨论中提出位置感知聚合、对比式采样、注意力重校准以及与检索增强结合等可检验的后续方向。

作者指出，评估覆盖的上下文最长约30篇文档，对于100K token以上的极长上下文是否出现不同动态仍是开放问题；工作聚焦文本任务，多模态长上下文场景下的表现尚不清楚；NQ-Open的受控设置能隔离位置偏置，但真实场景中的位置交互可能更复杂。