大模型写代码前先问清楚：341个仓库级任务显示，澄清能把需求对齐拉高133%
核心概要
面向仓库级软件开发，研究者构建了 ReqClarifyBench，用341个任务把模糊的用户意图、人工校验的详细需求文档和代码评测产物配成一套，并让带三种真实用户画像的模拟用户参与多轮澄清。六个大模型的对比显示，问得有效不等于文档写得好：澄清有效性最高的模型需求对齐反而偏低；但加入交互澄清后，平均需求对齐从0.212升到0.494，相对提升133.1%，代码生成得分也随之提高。
深度剖析
仓库级代码生成评测开始把“先问清楚”当成一个独立环节来测，而不是让模型直接从模糊请求猜出完整需求。 此前的仓库级基准要么给出完整清晰的需求文档，要么只给模糊请求却不提供多轮澄清，失败时难以区分是代码能力不足还是需求理解错误。 ReqClarifyBench 共341个任务，来自 GameCraft-Bench 的140个、MiniAppBench 的100个和 WebGen-Bench 的101个，覆盖游戏、小程序和网页开发，每个任务都配有人工校验的详细需求文档和对应代码评测产物。
澄清过程本身被拆成两个可分别测量的维度：提问是否问到点子上，以及最终需求文档是否准确完整。 过去对澄清的评估多停留在函数级任务，且模拟用户常按固定交互模式应答，难以反映真实用户行为的差异。 评测使用有效提问率 EQR 和平均澄清原子需求数 AvgClarified 衡量过程，用 BERTScore F1 和原子级需求对齐 ReqAlign 衡量结果；模拟用户由 SWE-chat 中三类真实用户画像驱动，两名标注者在180个交互轨迹上以95.8%的平均准确率区分画像，标注者间 Cohen's κ 为0.892。
交互澄清带来的收益主要体现在细粒度需求对齐上，并进一步传导到后续代码实现。 直接从初始意图生成需求文档时，模型平均 ReqAlign 只有0.212，说明大量细节在初始意图中缺失。 六个模型加入多轮澄清后平均 BERTScore F1 从0.664升到0.712，平均 ReqAlign 从0.212升到0.494，相对提升133.1%，各模型相对提升在83.8%到241.3%之间；用 Codex 配合 GPT-5.6-Sol 生成代码时，GameCraft-Bench 得分从0.012升到0.418，MiniAppBench 从0.451升到0.943，WebGen-Bench 从0.271升到0.659。
面向编码的智能体外壳能提高提问有效性，却没有把这种优势带进最终需求文档。 与对应的基础模型相比，Claude Code 和 Codex 在三种用户画像下都取得更高的 EQR 和 AvgClarified，但最终文档质量反而更低。 在 Expert Nitpicker 画像下，使用编码智能体外壳后 ReqAlign 对 Claude 下降15.2%、对 GPT 下降24.0%，Vague Requester 和 Mind Changer 画像下趋势相同。
启示与展望
这套评测面向仓库级软件开发，任务来自游戏、小程序和网页三类场景，交互由带三种用户画像的大模型模拟用户完成，每个会话最多20轮。它衡量的是模型把模糊意图转成需求文档的能力，以及该文档对后续代码生成的影响；代码生成实验使用 Codex 配合 GPT-5.6-Sol，并沿用三个源基准各自的评测协议。
模拟用户由大模型扮演，可能无法完全覆盖真实开发者在表达、披露和修改需求上的多样性；研究用 SWE-chat 的三类画像和人工盲评来缓解这一点。评测结论基于六个模型和三类画像，交互轮数上限为20轮，超出该范围的澄清行为未被覆盖。