跳到主要内容
返回时间线
OpenAI News来源发表:

找人代劳的事成了考题:日常事务评测上,GPT-6 Astra 多条任务记录到满分

核心概要

面向个人助理的评测改用日常事务作题目。OpenAI 从美国时间使用调查、跨国时间使用调查出发,又做了一份 3995 人的代表性问卷,挑出人们最希望有人代劳的事,编成 LifeVal,并用它跟踪模型过去一年在这类任务上的进展。示例任务里,当前模型在搬家后择校上达到 93.1%,在为糖尿病新诊断的家人准备餐食上达到 90.4%;标为 GPT-6 Astra 最佳记录的表格中,订感官课、预约保养、订购清真食材等任务记为 100%。

AI-generated editorial illustration: LifeVal

深度剖析

衡量个人助理的尺子,从模型知道多少换成了它能不能把一件日常事务办完。 过去的评测多落在学术性的知识问答上,而 LifeVal 的题目先由美国时间使用调查与跨国时间使用调查给出清单,再用一份 3995 人的代表性问卷筛出人们最想请人代劳的部分,覆盖照护、健康、教育、家务管理、个人财务、购物和政府服务。 落到单项,当前模型的示例任务里,调度社区防洪志愿者一题为 98.0%,为远方祖母安排一起看球一题为 96.3%,按预算与通勤找房一题为 100%。

要把这类事务办完,模型得会动手,而不只是回一段话。 过去一年,OpenAI 在浏览器使用、电脑使用和连接器这三类任务上训练模型,让它们更快、更强、更对齐;把这些能力放进 ChatGPT 之后,能帮上的任务类型随之变多,ChatGPT 也从聊天工具转向智能体式的个人助理。 题目本身是多步骤的:订清真食材要在预算内为三道菜下单并把清单整理进表格,找房一题要把产权文件放进购物车等人复核。

启示与展望

这套评测衡量的是模型能不能把照护、健康、教育、家务管理、个人财务、购物和政府服务这几类多步骤事务办完,成绩以单项任务百分比的形式给出。

表头写的是 GPT-6 Astra 的最佳记录,100% 属于单项上的最好成绩,不等于平均表现;示例任务的百分比对应的是当前模型,与表格并非同一口径。过去一年的走势在来源里以图呈现,这份摘要没有给出对应数值,提升幅度无法量化。