智能体强化学习不再只给整条轨迹打分：ORSD用自生成评分细则，把信用分到每个词元
在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。
长程智能体的信用该记在回合上：MPO把回合级优势与逐词修正分开，搜索任务pass@1最高提升4.33点
长程LLM智能体按完整回合与环境交互，却逐词生成动作，现有强化学习要么给整条轨迹一个共享优势，要么把每个词当作动作。MPO把信用分配拆成两层：回合级广义优势估计在交互之间传递信用，回合内再做保均值的局部修正，策略更新则用完整回合的重要性比率。在搜索、工具使用和自动化任务上，Qwen3-4B-Thinking与Qwen3-30B-A3B-Instruct两个规模下，MPO在九个指标上均取得表中最高分，其中4B的BrowseComp-Plus pass@1比最强非MPO基线高4.33点。
临床多轮智能体的奖励设计：只奖励最终结果会缩短问诊，给提问密集记分才稳住高危病例
临床多轮智能体要在信息不全时决定问什么、何时停、做什么。研究在药物续方分诊、急性诊断检查、抗凝滴定三个可控模拟环境中比较奖励设计：只按最终结果给分的GRPO常靠少问问题抬高平均收益，却出现过早决策和高危病例退化；在诊断任务中，对降低隐藏状态不确定性的提问额外记分，三个训练种子下留出价值与中等病例支持均提高，且未出现只按结果训练时的高危种子崩塌。
WebCoder把前端开发当作持续工程来训练：需求满足率72.8，超过Claude-Opus-4.8的65.1
智谱AI实习期间完成的WebCoder-27B，把复现、生成、修改与修复放进同一个持续演化的项目状态里，用可执行应用对任务需求的满足程度来给强化学习打分。在新建的Webdev-Bench上，它的需求满足率从基座Qwen3.8-27B的64.8升到72.8，高于Claude-Opus-4.8的65.1；在Vision2Web上视觉与功能平均分从41.1升到62.4，与Claude-Opus-4.8的62.5相当。
扩散语言模型强化学习不再只给整句打分：按词性分配信用，MATH500 低预算下比基座高 9.0 分
扩散语言模型靠多步去噪逐批确定词元，整句奖励难以说明哪些词元真正帮助了后续去噪。DTCA 用一次词元确定后其余掩码位置预测置信度的提升来估计该词元的贡献，按词性分组得到稳定的贡献权重，再用它挑选去噪时间步并分配词元级学习信号，并按策略更新引起的词元熵变校准。在 LLaDA-8B-Instruct 上，DTCA 在 128、256、512 三种生成预算下均优于基座，MATH500 上分别提高 9.0、6.8、4.8 个百分点，GSM8K 上分别提高 5.3、2.1、2.5 个百分点。
长程智能体训练不再只看重复状态：把任务进度写进比较条件，WebShop成功率再涨3.96与5.16个百分点
长程语言模型智能体的训练改在已有轨迹组内构造动作偏好：比较条件同时看动作前状态与任务进度，WebShop上Qwen3-4B与8B的平均成功率分别提高3.96和5.16个百分点。
过程奖励不是越细越好：预告片剪辑里，衰减权重让长任务得分涨45.4%，固定权重却让44.1%的回合被截断
在49部真实电影及其预告片构建的四类剪辑任务上，同一套GRPO训练里，把LLM评判的回合级过程奖励权重衰减到零，使Fine Cut任务相对仅用结果奖励的GRPO取得45.4%的相对提升，而固定权重版本在三个较短任务上低于仅结果奖励，并出现44.1%的回合被截断。过程奖励早期确实鼓励了看图与推理，但持续优化会让智能体反复调用工具而不提交成品；令牌级的在线自蒸馏则对教师可见的特权信息高度敏感。
多轮智能体训练不再只靠终局奖励：把重复出现的低分决策挑出来，ALFWorld 4B 成功率到 97.9%
PEARL 把同一历史下两条不同结局分支的首次分歧变成可复用的决策记忆，只加强反复出现的低分决策的负优势，在 ALFWorld 4B 上把平均成功率做到 97.9%，比最强基线高 2.7 个百分点。
GraphOPD 用环境状态转移依赖图重排蒸馏监督，在 ALFWorld 与 WebShop 上超过最强基线最多 +5.8 个百分点
GraphOPD 从环境状态转移中读取步骤间的依赖关系，构建有向依赖图并用随机游走平稳分布给出每步的结构信用分，再与教师-学生散度信号融合成轨迹相对的掩码，只对每条 rollout 中适应度高于自身均值的步骤施加蒸馏监督；在 ALFWorld、WebShop、SearchQA 三个基准、三种模型规模和十一个基线上均具竞争力，相对最强基线最多提升 +5.8 个百分点。
RELACE用原始与结果条件双情境似然比对动作打分，在ALFWorld与WebShop上取得所比较方法中最高的平均成功率
RELACE是一个无需评论家的框架，用冻结行为策略对已执行动作在原始情境与结果增强情境下做教师强制似然打分，将两者长度归一化得分之比在轨迹内归一化并裁剪后重加权折扣回报，再在状态匹配组内构造局部优势，与GRPO轨迹级优势结合；在ALFWorld与WebShop上使用Qwen2.5-1.5B-Instruct与Qwen2.5-7B-Instruct，其报告的平均聚合指标高于GRPO、GiGPO、HCAPO与GraphGPO等基线。