日语检索智能体有了固定考卷：250题、固定语料，Qwen3.8-27B开工具答对89.2%
核心概要
日语检索智能体的能力此前缺少可重复的定量评测，常见日语基准多只要求单次检索。Preferred Networks构建并公开Snapshot BrowseComp-ja，以约824万篇日语、约4552万篇英语的固定网页语料为检索对象，收录250道需多步检索整合的日语问题。三个公开模型在不给检索工具时正确率均低，给工具后Qwen3.8-27B在全部250题上达到89.2%。
深度剖析
日语检索智能体现在有一套可重复运行的评测基准，题目要求模型在固定网页语料中反复检索、把多处信息拼起来再用日语作答。 此前日语侧缺少针对检索智能体的定量基准，需要检索的日语任务多为单次检索的RAG式题目，不足以评测会多步搜索的智能体。 基准共250题，其中200题定为lite难度、50题定为hard难度；三个公开模型在不提供检索工具时正确率分别为Gemma-4-31B-it 5.6%、Qwen3.8-27B 7.2%、GLM-5.3-Flash 21.6%，说明多数题目确实依赖外部检索。
检索对象不是实时网页搜索服务，而是一份冻结的网页文本语料，因此同一模型在不同时间跑出的分数可以直接比较。 直接调用真实网页搜索时，搜索结果随时间变化，且API调用有费用，频繁评测难以保持同一条件。 语料取自FineWiki与FineWeb系列数据，英语约4552万篇文档、日语约824万篇文档；题目由检索该语料的智能体自动生成，并以答案可从语料推出、语料内不存在别解、满足设定难度为接受条件。
开放检索工具后，模型正确率大幅上升，且hard子集把强模型拉开到可比较的区间。 不给工具时正确率最高的是参数量更大的GLM-5.3-Flash，30B量级的Gemma-4-31B-it与Qwen3.8-27B数字接近，大致反映模型参数中自带的知识量。 给工具后Qwen3.8-27B在250题上为89.2%（lite 94.5%、hard 68.0%），GLM-5.3-Flash为87.2%（lite 94.5%、hard 58.0%），Gemma-4-31B-it为44.8%；lite上两个强模型已接近答满，hard的50题正确率落在40%至70%区间。
启示与展望
该基准面向日语检索智能体的开发期评测，检索对象是冻结的网页文本语料，题目分lite与hard两档，可分别用于不同规模模型的比较。
固定语料无法完全复现真实网页检索下的智能体能力，已有研究指出固定语料会带来相关问题，该基准可能存在同类问题；题目由大模型生成，其质量与答案唯一性需要持续验证；Qwen3.8-27B与GLM-5.3-Flash在可用工具时性能接近，是题目形式对GLM-5.3-Flash不利还是两者检索能力差距不大，目前尚不清楚。