跳到主要内容
返回时间线
arXiv来源发表:

智能体要接真实客户需求:49个未讲清的项目里,最高交付分只有0.5510

核心概要

FDE-Bench把49个真实客户项目做成端到端交付测试,智能体必须向模拟客户问出没写明的需求并反复改方案,18种配置里最高平均交付分只有0.5510,而前线交付工程师的参考值是1.0。

Source-provided article image: FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
arXiv

深度剖析

衡量智能体能否把没讲清的真实业务需求做成可交付方案,现在有了一个从真实客户项目出发的测试集。 此前的优化类基准通常从明确目标出发,澄清类基准则多是在已有任务上人为加入信息缺口。 FDE-Bench的49个案例覆盖组合优化与机器学习,澄清目标取自前线从业者与前线交付工程师的讨论。

智能体要主动向模拟客户追问缺失要求,再按客户验收标准反复优化最终产物。 评分不只看答案对错,而是用客户已接受的前线交付工程师方案作为质量参照,由针对每个案例的评估器对照验收标准打分。 在18种智能体配置中,最高平均交付分只有0.5510,对照的前线交付工程师参考值为1.0;最高交付成功率只有6.12%,即计划运行中达到该参照的比例。

启示与展望

这套基准面向需要与客户对话澄清需求、并迭代到验收标准的端到端交付场景,读者是研究智能体交付能力的研究人员与工程师。案例共49个,覆盖组合优化与机器学习,澄清目标来自前线从业者与前线交付工程师的讨论,评估以客户接受的前线交付工程师方案为质量参照。

受测的18种智能体配置中,最高平均交付分只有0.5510,最高交付成功率只有6.12%,可靠的前线交付工程师级端到端交付对受测智能体仍不可及。这些结论限于该基准所覆盖的未讲清真实业务任务与所评估的智能体配置。