跳到主要内容
检索

# 任务完成度

4 篇关联报道

订阅更新
  1. researchsquare.com

    录下的界面操作变成智能体工具:同一业务族三个实例上核心点33/33,原始代码只有8、8、18

    把真实图形界面操作录下来、参数化成固定工作流,再交给智能体执行,可能比让智能体直接写代码覆盖更多业务要求。在一个SaaS业务族的三个完整任务实例上,这套冻结工作流拿到33/33本地核心点,原始代码分别为8、8、18;两个预先固定的新实例上智能体分别用6次和5次模型调用完成,原始代码用了121次和70次。所有尝试的整任务判定仍为失败,附带状态是否保全未知。

  2. arXiv

    机器人操作策略不再只靠预训练:Axiom-0在RoboCasa365上把成功率推到62.32%

    Axiom-0通过分层自精炼同时改进视觉语言模型内部表征与动作生成前的条件,在RoboCasa365上取得62.32%总体成功率,比已公布最高榜单成绩Paimon-0的58.1%高4.22个百分点。

  3. researchsquare.com

    AI准备度不看科室看任务:330项临床任务打分,任务类别解释力是科室的十倍

    衡量一个医学专科能否被AI改造,答案更多藏在它由哪些临床任务组成,而不是它叫什么名字。研究团队按美国专科认证目录选取22个专科、每科15项共330项临床任务,用可编码性、数据结构依赖、决策权可转移性、身体依赖、临床可治理性和专科中心性六个维度做三点量表打分,汇总为医学专科AI准备度(MSAIR)。任务类别解释了71.6%的调整R²,专科只解释6.4%;文档记录平均分最高(2.874),急诊决策最低(1.639),专科均值仅在2.010到2.543之间。

  4. Stanford HAI

    医疗AI考试接近满分,进电子病历干活却完不成一半:两项执行型基准给出同一方向

    医疗AI的评测正从答题转向在真实工作环境里动手。此前执照考试接近满分,却无法说明能否跨病历、文档与软件系统完成多步任务。斯坦福团队用电子病历沙箱和模拟行政门户分别测试临床与行政流程,最好的智能体单次完成率分别为46%和36.3%,失败多因信息在步骤间丢失。

已读完全部报道