地缘情报问答有了公开基准：415份报告、5525个问答，检索够用而推理仍难

地缘政治与战略情报报告第一次有了可复现的问答评测集，覆盖事实、推理、比较和风险四类提问。 此前这类报告只能靠人工逐份检索，没有针对该文档类型的系统评测。 语料为415份公开机构出版物，来自122家出版方，中位出版年份2025年，94%为2022年及以后；最终生成5525个问答对，覆盖413份报告。

检索这一环并不需要更大的向量模型，文档层面各系统几乎打平。 通常认为语义检索质量随嵌入模型规模提升，商业接口更强。 在4980条干净查询、55353个切块上，所有系统文档级R@10都达到0.94以上；切块级nDCG@10上bge-m3为0.785，与8B的Qwen3-Embedding-8B的0.784差异不显著，并显著高于OpenAI-3-large等商业接口。

真正的瓶颈在生成：拿到正确证据后，答案质量仍随推理需求上升而下降。 以往评测常把检索失败当作主要误差来源。 在250条人工标注样本上，最强阅读器Llama-3.3-70B的总体分为2.56，事实类问题28%不合格，比较类38%、推理类47%、风险类70%；错误包括无依据陈述、不完整或错误答案，以及证据充分时的无理由拒答。

这份基准面向研究检索与生成的研究者，语料为415份公开英文机构出版物，检索评测在4980条干净查询与55353个切块上进行，阅读器评测在250条人工标注样本上进行。发布方公开派生切块、问答对、答案引用金标切块与逐条评审分数，源PDF不重新发布，按出版方署名与链接提供。

语料为英文且偏当代，94%文档发表于2022年及以后，不能代表全球地缘政治分析；问题类型以事实类为主，反映文档可供性与生成流程。人工标注样本较小，标注者间一致性中等，且标注者与流程设计者同属一方，独立第三方标注会更有力。评测为单次解码、单一评审，金标由模型撰写的参考答案所引切块定义。