攻防不再各打各的:CyberArena让智能体同场互攻互守,12个前沿模型分出高下
CyberArena把网络安全评测从静态靶标改成多轮攻防对抗:两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务,目标每轮轮换。在40个挑战、466局比赛中,12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先,而三个模型单独都能解出的30个挑战进入对抗后,第三轮捕获率分别降到52%、37%和35%。
CyberArena把网络安全评测从静态靶标改成多轮攻防对抗:两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务,目标每轮轮换。在40个挑战、466局比赛中,12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先,而三个模型单独都能解出的30个挑战进入对抗后,第三轮捕获率分别降到52%、37%和35%。
研究者从 YouTube 上 219 场、共 12,534 分钟的肿瘤委员会录像中整理出 OpenTumorBoard 基准,包含 611 例患者病例、19,157 轮讨论和十个专科角色,并据此设置“专科单轮回答”与“整场委员会模拟”两项任务,评测 14 个通用与医学大模型后发现最佳模型在临床等价性上仅得 3.43/5、在与真实委员会结论的对齐上仅得 2.78/5,而对 Qwen2.5-VL-3B 做监督微调加强化学习可把对齐分从 1.58 提升到 1.86。
已读完全部报道