智能体强化学习不再只给整条轨迹打分:ORSD用自生成评分细则,把信用分到每个词元
在线评分细则自蒸馏(ORSD)让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则,再由冻结验证器按细则满足度与任务成功的相关性选出一份,作为特权信息比较同一批词元在有无细则下的对数似然差,把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上,Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。
在线评分细则自蒸馏(ORSD)让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则,再由冻结验证器按细则满足度与任务成功的相关性选出一份,作为特权信息比较同一批词元在有无细则下的对数似然差,把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上,Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。
语言智能体的表现同时取决于模型权重和承载它的运行时程序,也就是harness,只优化其中一边会被另一边卡住。JoMoHa把生成harness的Engineer和按harness执行任务的Solver放进同一个强化学习过程,用同一次任务结果同时训练两个策略。在ALFWorld、WebShop和DBBench上,它的成功率分别为97.0%、45.8%和68.0%,三者等权平均70.3%,高于所评估的只训权重、只改harness以及交替训练的做法。
在可执行能力完全对齐的条件下,MCP 与 CLI 两种接口写法仍会让语言智能体走出不同的任务轨迹。研究用共享语义动作契约构造两套接口,在六个模型、三个交互环境上比较,2,004 对轨迹中有 94.3% 出现结构化分歧;据此设计的 DART 在语义决策已确定时只修复接口表达,使六项基准–接口设置的分数全部提升,最高 9.0 分,并在三个环境的 MCP 下降低 token 开销。
长程语言模型智能体的训练改在已有轨迹组内构造动作偏好:比较条件同时看动作前状态与任务进度,WebShop上Qwen3-4B与8B的平均成功率分别提高3.96和5.16个百分点。
RELACE是一个无需评论家的框架,用冻结行为策略对已执行动作在原始情境与结果增强情境下做教师强制似然打分,将两者长度归一化得分之比在轨迹内归一化并裁剪后重加权折扣回报,再在状态匹配组内构造局部优势,与GRPO轨迹级优势结合;在ALFWorld与WebShop上使用Qwen2.5-1.5B-Instruct与Qwen2.5-7B-Instruct,其报告的平均聚合指标高于GRPO、GiGPO、HCAPO与GraphGPO等基线。
UniSkill 让共享策略同时充当执行动作的 actor 与提出技能库编辑(Add、Update、No Edit)的提议器,用对比动作反馈衡量替换检索技能后当前 actor 在成功与失败轨迹上的动作对数似然差变化,从而无需为每个提议额外 rollout 即可训练提议器,并配合技能编辑支持正则化保持探索;在 ALFWorld 达 98.4% 成功率、WebShop 达 84.7% 成功率,且 250 步联合训练保持稳定。
该工作把门控自进化LLM智能体(DSH插件式,插件满足置换对称、可逆、无环、类型化契约四条架构性质)内部的单个实例当作全同硬球,构建了严格层(任意时刻命中时间证书、分辨率律、分离定理)、动力学层(插件×版本×任务网格上的主方程与碰撞、反应、外场、门四个算子及其矩层级)与测量层(单模型单任务族WebShop上的忠实最小实例),发现群体涨落标度受密度门控:稀疏编辑密度下不可见,密度三倍时按预测速率出现。
已读完全部报道