跳到主要内容
返回时间线
Surge AI来源发表:

智能体要自己发现客户没问的税务问题:50个任务里Sonnet 5.5通过10.8%

核心概要

Surge AI 发布 DAYJOB: Tax,把 AI 智能体放进 50 个税务工作环境,覆盖个人、合伙企业、跨境等八个领域,要求它们读客户请求和原始凭据,交出报税表、底稿、复核意见或客户建议。此前的税务测评多从一个已定义的问题出发,而这里客户没提的问题也要智能体自己发现。按单次尝试(pass@1)且需满足至少 95% 评分条目的口径,Claude Sonnet 5.5 以 10.8% 的通过率居首,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%。

Source-provided article image: DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work
Surge AI

深度剖析

AI 智能体的税务评测从回答一道题,扩到接手一整份专业工作:客户请求、原始凭据和最终交付物一起交给模型。 此前的税务测评多半从一个已定义的问题开始,例如一道有标准答案和评分规则的税务问题、一份要按预期申报数值算准的申报表,或者一位需要被追问出缺失信息的模拟纳税人;客户是否问对了问题不在考核之列。 按单次尝试、需满足至少 95% 评分条目的口径,Claude Sonnet 5.5 以 10.8% 的通过率居首,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%。

每个环境给出一份客户请求和一堆杂乱档案,智能体要自己决定查什么、怎么调和相互矛盾的证据,再交出申报表、底稿、技术复核或建议。 评分以税务专家写好的条目为准,一次尝试要满足其中至少 95% 才算通过,条目覆盖计算、支撑证据、关键问题和交付物本身。 50 个环境共有 1,789 个工作区文件,每个任务中位数 30 份、最多 123 份,其中包括 1,487 个 PDF、117 个 Excel 工作簿和 38 个 Word 文档,另有邮件、图片、CSV 与 JSON 记录;任务由税务专家编写,并经三层审校检查正确性、完整性与可解性。

不少任务的分量落在客户没有提出的问题上,这类判断并不写在初始指令里。 一个出售公寓的案例中,两种成交日期都能满足免征额所需的居住条件,但该居住资格会在 2027 年 8 月底前后到期;Astra 在五次尝试中始终没有点出这个期限,Opus 五次都点出了。 评测覆盖八个税务领域、50 个环境,交付物从完整申报包到策略函件不等,另有一例的跨州用工记录显示客户以为只在阿拉巴马州经营,而派工日志显示五个州都有作业。

启示与展望

已演示的范围是 50 个税务环境、八个执业领域,成绩以单次尝试、需满足至少 95% 评分条目的口径统计。完整排行榜在 DAYJOB: Tax 的基准页面,Surge AI 表示可通过 benchmarks@surgehq.ai 联系申请访问完整基准,适合关注专业流程智能体的研究者与工程师。

Surge AI 把结果读作:即便智能体能完成单个步骤,行使专业判断并可靠跑完真实税务工作流程,对前沿模型仍属未及。这些任务刻意保留不完整指令,档案中也存在相互冲突的证据,智能体还要自行判断何时信息不足。