智能体要接真实客户需求:49个未讲清的项目里,最高交付分只有0.5510
FDE-Bench把49个真实客户项目做成端到端交付测试,智能体必须向模拟客户问出没写明的需求并反复改方案,18种配置里最高平均交付分只有0.5510,而前线交付工程师的参考值是1.0。
FDE-Bench把49个真实客户项目做成端到端交付测试,智能体必须向模拟客户问出没写明的需求并反复改方案,18种配置里最高平均交付分只有0.5510,而前线交付工程师的参考值是1.0。
面向仓库级软件开发,研究者构建了 ReqClarifyBench,用341个任务把模糊的用户意图、人工校验的详细需求文档和代码评测产物配成一套,并让带三种真实用户画像的模拟用户参与多轮澄清。六个大模型的对比显示,问得有效不等于文档写得好:澄清有效性最高的模型需求对齐反而偏低;但加入交互澄清后,平均需求对齐从0.212升到0.494,相对提升133.1%,代码生成得分也随之提高。
已读完全部报道