跳到主要内容
检索

# 基准评估

4 篇关联报道

订阅更新
  1. arXiv

    十个前沿模型各自训练语言模型:六天造出可用助手,最强一个追平英伟达官方后训练版

    RSI Arena 把语言模型的后训练交给十个前沿模型自主完成:每个智能体从同一个 300 亿参数基座出发,在六天、1000 GPU 小时预算内自选数据、自写训练代码并提名检查点。十个智能体都产出了可用助手,其中 GPT-6 Astra 训练的模型在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%;在控制回答长度与格式后,其人类偏好评分与 NVIDIA Instruct 持平(1095 对 1094)。第二阶段把各自模型的盲测对战记录交回智能体,十个模型中有八个相对 NVIDIA Instruct 的风格校正评分改善,但基准提升有限,且与偏好提升没有明显关联。

  2. arXiv

    HarnessSecurity-Bench 实测六款编码智能体:开启自动批准使攻击成功率从 29.2% 升至 95.6%

    该研究构建了覆盖 40 个编码智能体 harness 的十类安全机制分类体系并评估 400 个 harness–机制单元(205 个确认实现、83 个确认缺失、112 个未决),随后提出 HarnessSecurity-Bench,用 23 个任务、五个攻击面和独立确定性判据在 GLM-5.2 下对六款 harness 运行 2,500 次试验,发现开启自动批准使攻击成功率从 29.2% 升至 95.6%,网络隔离与只读模式分别把攻击成功率从 57.1% 和 8.3% 降至 0.8% 但带来 24.5 和 34.0 个百分点的效用损失,而命令白名单与黑名单分别以小幅效用损失和效用提升降低攻击效果。

  3. 面向临床统计分析的AI“氛围编程”基准测试:肺动脉高压研究中的结构化评估

    该研究让五个当前大语言模型(GPT 5.3、Claude Sonnet 4.6、Gemini 2.5 Flash、Perplexity 和 Grok)在相同数据集与标准化提示下复现一项已发表临床工作流中经专家验证的三类统计分析任务——描述性表格生成、Kaplan–Meier生存分析和Cox比例风险建模,并将输出与两位受过数理统计训练的专家的分析在分组正确性、数值准确性、缺失值处理和生成的R代码质量方面进行比较,结果显示所有模型在变量被明确指定后都能给出正确的描述性统计,两个模型因变量名歧义在初始描述性基准中失败但在提示澄清后恢复,所有模型都复现了正确的Kaplan–Meier p值但图形完整性不同,Cox基准

  4. BMC Geriatrics

    大语言模型老年用药审查输出的质量与安全性:两阶段情景化基准评价

    该研究以20个标准化老年药物治疗情景(虚构72–88岁老年人,覆盖四个临床领域,每个情景含三种潜在不适当用药和一项START类遗漏,锚定AGS Beers标准与STOPP/START第3版)让GPT-5.2、Claude Sonnet 4.5和Gemini 3 Pro在相同主提示与默认终端设置下作答,由两名对模型身份设盲的老年医学专家用100分评分表(输出质量0–80分、关键安全风险优先级0–20分)独立评分,发现第一阶段条目层面与答案要点的一致性普遍很高、模型间区分度有限,而专家评定的总分存在显著差异(p<0.001;Kendall's W=0.700),Gemini 3 Pro最高(97.93±2.33)

已读完全部报道