跳到主要内容
检索

# 奖励设计

11 篇关联报道

订阅更新
  1. arXiv

    临床多轮智能体的奖励设计:只奖励最终结果会缩短问诊,给提问密集记分才稳住高危病例

    临床多轮智能体要在信息不全时决定问什么、何时停、做什么。研究在药物续方分诊、急性诊断检查、抗凝滴定三个可控模拟环境中比较奖励设计:只按最终结果给分的GRPO常靠少问问题抬高平均收益,却出现过早决策和高危病例退化;在诊断任务中,对降低隐藏状态不确定性的提问额外记分,三个训练种子下留出价值与中等病例支持均提高,且未出现只按结果训练时的高危种子崩塌。

  2. arXiv

    让智能体自己试数据配方:数学与代码筛选策略在固定训练下最高涨13.34%

    智能体用实验反馈迭代数据工程策略,在数学与代码数据筛选、数学奖励设计和数学课程学习四类任务上,选出的策略在固定训练条件下于AIME25 Pass@32最高比通用基线绝对提升13.34%。

  3. arXiv

    机器人奖励不再被灯光和机位带偏:把任务相关动态从视频里拆出来,MetaWorld成功率94.3%

    DiTaR把视频奖励建在任务相关潜动态上,MetaWorld-v3最终成功率94.3%,高于最强视频奖励基线ReWiND的65.2%,并在真实机器人离线强化学习中把成功率从43.3%提到83.3%。

  4. arXiv

    RNA逆向设计不再逐个骨架重训:共享策略一次后训练,配对MCC从0.61升到0.73

    结构条件RNA逆向设计此前要么为每个目标骨架单独训练策略,要么依赖离线偏好优化,可复用的骨架条件模型缺少在线后训练。MORAD把六个设计测量映射到有界合意分数,用加权几何平均合成奖励,再以组相对归一化驱动扩散模型的前向过程更新。在153个评测目标上,它把GDT-TS从0.3300提到0.3827、配对MCC从0.6110提到0.7295,并把归一化系综缺陷从0.3906降到0.2830。

  5. arXiv

    检索信用如何分配决定搜索智能体训练收益:局部信用让Qwen3-4B平均F1从51.25升至54.34

    该研究构建了带中间证据标注的语料接地问答数据,比较三种检索信号(证据覆盖Cov、带依赖覆盖Cov-Dep、答案匹配AM)在标量奖励加成与动作对齐局部信用两种分配方式下的效果,用Qwen3-4B在七个问答基准上训练,发现局部信用优于标量,Cov-local平均F1达54.34,高于仅用结果奖励的51.25。

  6. arXiv

    BIRD 统一评测迭代奖励设计:简单设计选择最稳健,ERA-U/ERA-S 在匹配预算下排名前二

    作者提出 BIRD,把 14 个已发表的迭代奖励设计(IRD)方法统一表示为同一循环的配置,在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 上以匹配的反馈条件与策略训练预算比较 6 个已发表方法并消融 30 个设计选择,发现多数设计选择(包括作者自己的提案)效果很小或不确定,而少数简单选择(如贪心保留检查点、摘要化反馈)稳定有效;据此从 RDA 出发做小规模爬山得到 ERA-U 与 ERA-S,二者在 Bradley–Terry 汇总排名中分列第一、第二,但小规模人类评分显示基准分数高并不等于行为自然。

  7. arXiv

    X-Tree 把轨迹中的可复用技能挖成树,在 WebArena、ScienceWorld、WebShop 上以同等数据与预算把成功率最多提高 4.5%、5.8% 和 4.1%

    该工作提出 X-Tree:先用规范化把每个动作变成 typed token(如 type⟨date⟩、click⟨button⟩),再用 X-Score(按复现频率、跨度长度、出现在成功回合中的比例打分)递归合并相邻动作对,从轨迹池中确定性地挖出一棵可复用经验树,全程零 LLM 调用;随后把 X-Tree 接入三种训练方式——离线 RL(每个节点作为一个训练实例,用步匹配奖励加深度缩放完成奖励)、在线 RLVR(自适应技能奖励,验证器信号稀缺时给分、变密时退火)、以及 on-policy 自蒸馏(把 X-Tree 渲染成自教师的特权上下文,替代 LLM 编写的技能库);在 WebArena、ScienceWorld、WebSho

  8. arXiv

    InterEvolve 让固定人形控制器在测试时进化奖励程序,仿真成功率从 34.6% 升至 86.5%,并在 Unitree G1 上自主运行

    InterEvolve 提出一种测试时进化框架:用一个物体感知的前向-后向(FB)行为基础模型执行奖励程序,由 LLM 智能体在上下文中修改程序结构、CMA-ES 调节其常数,并在并行仿真场景中验证每个候选,从而让固定的人形控制器无需再训练即可完成未训练过的 loco-manipulation 任务,在八个任务族上把宏平均成功率从最佳校准固定程序的 34.6% 提升到 86.5%,并把进化出的技能部署到实体 Unitree G1 上。

  9. arXiv

    RULER 用逐指令六项评分表做强化学习奖励,把 Qwen3-8B 的 SVG 生成评分从 0.432 提到 0.693,追平更大的 DeepSeek-V3

    该工作先用 900 个由 Claude-Opus-4.6、Qwen3-32B、Qwen3-8B 生成并经人工打分的 SVG 样本证明,让视觉语言评判模型按多轴评分表打分,与人类判断的相关性(Spearman 0.7929、Goodman-Kruskal Gamma 0.7574)远高于 CLIP 与美学分数等标量指标,随后提出 RULER:仅凭文本指令为每条指令生成六项实例化评分表,由评判 VLM 对渲染结果逐项打分并加权成奖励,用 GRPO 优化策略,在 MMSVG-Illustration 与 MMSVG-Icon 上把评分表分数从 Qwen3-8B 基线的 0.432 和 0.395 提升到 0.693 和 0.683,超过专用 SVG 模型并追平

  10. 谷歌在YouTube上线双循环LLM智能体系统,自主发现RMSprop、Gated Path与多目标奖励,多项A/B指标显著提升

    该工作提出并部署了一套自演化推荐系统,用Gemini系列LLM智能体充当机器学习工程师,通过离线快速循环(Offline Agent,每5分钟唤醒、每日运行)生成并离线打分候选配置、在线慢速循环(Online Agent,每日运行)排序并推进A/B实验,在YouTube多个推荐场景中自主发现了优化器切换(Adagrad→RMSprop、FTRL)、Gated Path(GLU)架构、激活精化、多目标奖励合成与奖励超参调优等改动,多项在线指标在95%置信水平上显著提升,并将实验吞吐从每周Θ(1)–Θ(10)提升到Θ(100)。