跳到主要内容
检索

# 智能体强化学习

8 篇关联报道

订阅更新
  1. LMSYS Org

    RadixArk 把 Miles 智能体强化学习的沙箱搬上 NVIDIA Vera:满载下每轮快 12%

    RadixArk 与 NVIDIA 合作,把开源强化学习后训练框架 Miles 的全部沙箱放到 NVIDIA Vera CPU 上运行,并称这是首个端到端智能体强化学习训练中沙箱全部跑在 Vera 服务器上的公开结果。在保持机器满载的对照训练中,同一模型、任务、GPU 与设置下,沙箱放在 Turin 上时每轮平均多花 12%,而模型思考时间两边相同,差异几乎都来自沙箱内的工作。Vera 单沙箱运行时与当代 x86 相当或更好,负载越重优势越大。

  2. arXiv

    智能体强化学习后置信度会失准:StaR-TTA用轨迹稳定性重排,四个问答集平均AUROC达0.7208

    智能体强化学习会改变大模型的推理轨迹,使在基座模型上训练的轨迹型置信度估计器明显失准。StaR-TTA把轨迹稳定性当作无需正确性标签的可靠性信号:先在带标签的基座轨迹上学习稳定性与正确性的关系,测试时用无标签强化学习轨迹的稳定性排序校正置信度。在四个问答基准上,它的平均AUROC为0.7208,并在未见数据集、不同模型家族与规模、PPO和GRPO两种强化学习算法下保持改进。

  3. researchsquare.com

    智能体训练不再只看最终成败:STEP-VERIFIER用日志里的前缀分叉给每一步打分

    工具调用型语言模型智能体往往要经过几十步交互才拿到一个成功或失败的最终标签,中间哪一步出错无从区分。STEP-VERIFIER把已记录的成功标注交互日志转成动作级比较:同一前缀下两条后续轨迹的平均最终回报之差,构成一对动作的优劣标签,再由Bradley-Terry排序头转成可校准的逐步分数。在Llama-3.1-8B-Instruct与Mistral-7B-Instruct两个骨干上,它在GAIA、ToolBench、AgentBoard的六组基准—骨干组合中平均指标均高于仅用最终分数的GRPO,且逐步分数与人工判断的一致率为81.5%。

  4. LMSYS Org

    软件工程智能体训练不再等最慢一条:异步强化学习把通过率从7.3%提到27.5%

    在AMD Instinct MI355X上,Qwen3-30B-A3B-Instruct经监督微调后再做全异步智能体强化学习,在SWE-bench Verified的100个分层任务子集上把pass@1从7.3%提升到27.5%,且强化学习任务来自未出现在该基准中的代码库。训练的主要瓶颈不是GPU算力,而是长尾轨迹与CPU沙箱调度:限制轨迹长度让单步时间从850秒降到284秒,改用云沙箱并把并发提到384条后,吞吐从约860条/小时升到约3480条/小时。

  5. stepfun.com

    智能体长任务不再被上下文拖垮:Step 5 Preview用92层窄深结构撑起百万级环境

    Step 5 Preview 把智能体工作负载当作模型设计的出发点:它采用92个Transformer块的窄而深结构,在高效注意力与稀疏全注意力之间按3:1交错,并用Sparse GQA把全注意力路径扩展到最长100万token上下文。其总参数量不到Qwen3.8-Max、Kimi K3这类万亿级模型四分之一,活跃参数不到三分之一,报告称由此获得与这些万亿级模型相当的长程智能体能力。训练侧配套了智能体原生数据合成与面向长rollout的强化学习系统,最终构造出百万级可验证环境。

  6. Microsoft Research

    微软亚洲研究院开源 Agent Lightning v1.0:约 3,500 行代码实现 Harnessed Agentic RL,Qwen3.5-9B 在 SWE-bench Verified 上从 41.8% 提升至 56.4%

    微软亚洲研究院提出 Harnessed Agentic RL 训练范式并开源重建 Agent Lightning v1.0,让部署所用的同一 agent harness 通过 LLM 代理直接参与强化学习,框架约 3,500 行代码、以标准 Kubernetes 作业运行 agent,并在 SWE-smith、mini-SWE-agent 与 Qwen3.5-9B 的端到端编码 agent 流水线上,仅用约 6,000 条训练样本把 SWE-bench Verified 的 Pass@1 从 41.8% 提升到 56.4%,绝对增益 14.6 个百分点。

  7. arXiv

    SLCA-GRPO 把工具段与总结段的优势分开路由,在三个骨干上把工具调用成功率提高最多 10.03 个百分点

    该工作把工具调用强化学习的轨迹拆成工具段与总结段,指出统一广播轨迹级优势会造成“跨段信用错配”,并提出 SLCA-GRPO:在同一个策略内对两段奖励分别做组内归一化并只路由到对应 token,配合 Schema-Guided LLM Simulator 与 Hierarchical Rewards,在 Qwen2.5-3B/7B-Instruct 与 Qwen3-8B-Base 三个骨干、Toucan-Test、BFCL V3 与 τ²-Bench 三个基准上报告了高于匹配 GRPO 的均值,7B 上分别为 +2.53、+1.36、+9.15 个百分点。

  8. arXiv

    把仓库级软件工程任务按类别拆成专家再蒸馏回单一模型,Pro-618 平均解决率升至 58.04%

    该工作针对仓库级软件工程任务中「类别跷跷板」现象——池化强化学习在某些任务类别上进步的同时另一些类别退步、而总体分数掩盖了这种变化——提出类别感知的专家训练与策略整合框架:用 SWE Labeler 把任务按仓库领域划分为服务/数据/安全(A)、面向用户应用(B)、系统/工具/运行时(C)三类,用 Agentic-miniRL 加 Refresh–Repair–Expand 循环训练同源类别专家,再用标签路由的多教师在线策略蒸馏(MOPD)把专家合并为一个可部署学生模型,最终策略在 Pro-618 上取得 58.04% 平均解决率、较基座提升 5.39 个百分点,在 SWE-bench Multilingual 上取得 59.

已读完全部报道