跳到主要内容
检索

# 长上下文推理

4 篇关联报道

订阅更新
  1. arXiv

    长文档问答不再每次重搜:先让智能体建好文件系统,准确率从0.42升到0.75

    长文档问答的检索通常要等查询到来才启动,同一批文档被反复重读。Librarian Agents 改为在查询之前训练一个构建智能体,把原始文档整理成带引用链接的多层合成文件系统,供冻结的答题智能体直接导航。在 BrowseComp-Plus 上,配 Qwen3.5-4B 答题端时准确率为 0.75,嵌入检索与重排基线分别为 0.42 和 0.44;未训练的构建智能体只有 0.28。

  2. 长上下文里自洽性反而拖后腿:八次采样七次错在同一处,位置偏置被投票放大

    在长上下文任务上,自洽性这种多次采样再投票的推理技巧不但没有提升,反而稳定拉低表现,原因是模型对上下文位置的偏置让多次采样犯下同一类错误,投票把错误当成共识。

  3. arXiv

    π² 用维基百科表格构建推理数据,使 gpt-oss-20b 与 Qwen3-4B 长上下文推理平均绝对准确率提升 +6.25% 与 +3.37%

    该工作提出 π² 问答数据构建流程:从维基百科抽取并扩展表格,结合相关元数据生成复杂推理问题,答案通过双路径代码执行自动确定与验证,再反向翻译出扎根真实上下文的思维链解答;用 gpt-oss-20b 与 Qwen3-4B-Instruct-2507 在 π² 上做监督微调,在四个长上下文推理基准及自建的 π²-Bench 上取得一致提升,平均绝对准确率增益分别为 +6.25% 与 +3.37%,分析显示推理风格贡献很小,而反向翻译得到的忠实推理模式与扎根的真实长上下文才是提升关键。

  4. arXiv

    把公开文档改写后合成约1万条训练样本,35B学生模型在CL-bench上从13.7%升到24.6%,接近万亿参数前沿模型

    该工作提出一条无需人工标注的合成监督流水线:对3,515篇公开文档做实体改名与数值扰动等深度改写,用大模型生成需要依赖文档才能回答的问题与评分细则,并通过“有文档/无文档”评分差距检查只保留真正依赖上下文的样本,共得到约9,625条训练样本;用它做SFT把Qwen3.6-35B-A3B在CL-bench上从13.7%提升到22.8%,再加评分细则奖励的RL达到24.6%,与Qwen3.8-2.4T的23.9%相当,并在长上下文理解、指令遵循和推理上出现广泛迁移,而代码与知识类基准基本持平。

已读完全部报道