跳到主要内容
检索

# 自动化数据整理流水线

2 篇关联报道

订阅更新
  1. arXiv

    攻防不再各打各的:CyberArena让智能体同场互攻互守,12个前沿模型分出高下

    CyberArena把网络安全评测从静态靶标改成多轮攻防对抗:两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务,目标每轮轮换。在40个挑战、466局比赛中,12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先,而三个模型单独都能解出的30个挑战进入对抗后,第三轮捕获率分别降到52%、37%和35%。

  2. arXiv

    OpenTumorBoard 用 611 例真实肿瘤委员会病例评测 14 个模型,最佳模型与真实结论对齐仅 2.78/5

    研究者从 YouTube 上 219 场、共 12,534 分钟的肿瘤委员会录像中整理出 OpenTumorBoard 基准,包含 611 例患者病例、19,157 轮讨论和十个专科角色,并据此设置“专科单轮回答”与“整场委员会模拟”两项任务,评测 14 个通用与医学大模型后发现最佳模型在临床等价性上仅得 3.43/5、在与真实委员会结论的对齐上仅得 2.78/5,而对 Qwen2.5-VL-3B 做监督微调加强化学习可把对齐分从 1.58 提升到 1.86。

已读完全部报道