跳到主要内容
检索

# 基于评分标准的评估

6 篇关联报道

订阅更新
  1. arXiv

    物理智能体考卷换成完整课题:56个真实项目,最强配置168次只过46次

    FrontierPhysics把物理智能体的评测从固定问答和给定解法的论文复现,换成由42位物理学家依据自己研究设计的56个端到端课题,覆盖理论、计算与实验物理九个方向。智能体只拿到类似导师给的高层指令,要自己查文献、定计划、做计算或实验,并同时交出可确定性核验的数值结果和一份论文稿。22个模型、26种配置中没有任何配置在168次运行里通过超过46次,人工审阅轨迹显示主要短板是推理不够严谨和缺少专家直觉,而不是物理知识不足。

  2. arXiv

    评分细则不再只靠语义写:树搜索加响应校准,六个偏好基准里五个拿到最高分

    给开放式回答打分的评分细则,改成先按语义筛出可行分解、再用六条不同质量回答的实测表现挑最终结构,在六个偏好基准中的五个上取得最高成对准确率。

  3. arXiv

    LexReward 用 Style、Element、Chain 三维度评分体系训练中文法律奖励模型,使 GRPO 在 Element 平均分上比 SFT 提升 6.04 分

    该工作提出 LexReward,一个由法律专家参与构建、把法律回答质量拆解为 Style(词汇与句法)、Element(主体、事实、法条、裁判)与 Chain(推理顺序、完整性、正确性、非冗余)三个维度的分类体系,并据此设计规则或 LLM 评判的评分细则,用其构建偏好数据训练中文法律奖励模型 LexRM;实验显示评分细则能区分不同质量回答,DPO 在三个维度上均提升生成表现,LexRM 在测试时扩展中优于随机选择,用于 GRPO 时各维度均有增益并优于基于结果规则的奖励。

  4. arXiv

    8B 多模态验证器 SciGen-Verifier 在科学图像验证基准上以 86.28% 判断准确率超过 Qwen3.8-Max,并可作为在线批评者迭代纠错

    该工作构建了面向科学图像生成可解释验证的基准 SciGen-Verify(1,350 个样本,覆盖指令遵循 406、多学科推理 287、世界知识 657,采用二元判断、解释、编辑指令三层级联协议),并提出基于 Qwen3-VL-8B-Instruct 的 SciGen-Verifier,经冷启动监督微调(48,311 条实例)与课程式两阶段强化学习(先 rubric 引导的过程奖励、后结果奖励)训练,在基准上取得 86.28% 总体判断准确率、81.79% 解释准确率与 57.42% 编辑指令准确率,并可作为在线批评者用于迭代图像修正。

  5. arXiv

    ShieldVLA 用 Hamilton-Jacobi 可达性门控把 VLA 微调的安全代价平均降低 57%、成功率提升 0.13

    ShieldVLA 提出一种面向视觉-语言-动作(VLA)模型的安全对齐微调框架:它从视觉观测中无模型地学习 Hamilton-Jacobi 可达性安全价值函数作为安全评论家,用该评论家把策略优化门控为“可行区域内最大化奖励、接近不安全状态时转向恢复”,并以基于评分量规的 VLM 安全分数替代人工逐步代价标签,在五个导航与操作基准(Dubins-VL、TurtleBot-Nav、Safety-CHORES Nav/Fetch、Franka-Reach)上跨多个 VLA 主干,平均降低累计安全代价 57%、相对 SafeVLA 提升任务成功率 0.13。

  6. arXiv

    RULER 用逐指令六项评分表做强化学习奖励,把 Qwen3-8B 的 SVG 生成评分从 0.432 提到 0.693,追平更大的 DeepSeek-V3

    该工作先用 900 个由 Claude-Opus-4.6、Qwen3-32B、Qwen3-8B 生成并经人工打分的 SVG 样本证明,让视觉语言评判模型按多轴评分表打分,与人类判断的相关性(Spearman 0.7929、Goodman-Kruskal Gamma 0.7574)远高于 CLIP 与美学分数等标量指标,随后提出 RULER:仅凭文本指令为每条指令生成六项实例化评分表,由评判 VLM 对渲染结果逐项打分并加权成奖励,用 GRPO 优化策略,在 MMSVG-Illustration 与 MMSVG-Icon 上把评分表分数从 Qwen3-8B 基线的 0.432 和 0.395 提升到 0.693 和 0.683,超过专用 SVG 模型并追平

已读完全部报道