# 组相对策略优化

情绪视频生成的质量没有唯一正确答案，固定融合视觉、运动和文本对齐奖励难以表达情绪意图。EmoReward把一次完整训练中收集的奖励轨迹整理成各情绪场景下各评分通道的可靠性，转成有上限的权重乘子，在下一轮训练中与当前视频的实例门控结合，且不更新任何奖励模型参数。在HunyuanVideo 1.5上配合DanceGRPO、FlowGRPO和SAGE-GRPO，VideoAlign Overall在三种算法下均提高，其中SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。

情绪视频生成的质量没有唯一正确答案，固定融合视觉、运动和文本对齐奖励难以表达情绪意图。EmoReward把一次完整训练中收集的奖励轨迹整理成各情绪场景下各评分通道的可靠性，转成有上限的权重乘子，在下一轮训练中与当前视频的实例门控结合，且不更新任何奖励模型参数。在HunyuanVideo 1.5上配合DanceGRPO、FlowGRPO和SAGE-GRPO，VideoAlign Overall在三种算法下均提高，其中SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。

决策模型通常按“会不会行动”来评价，但同一批模型在 ALFWorld 上作为行动者时会被更容易的子目标带偏。把 JEV 改作教师，在回合结束后看完整轨迹、逐个问“这个动作是否有助于达成目标”，它给出的分数加进 GRPO 后，Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升到 82.9%，在 WebShop 上从 56.8% 升到 71.4%；而 JEV 自己作为行动者只完成 42.9% 的 ALFWorld 任务。

决策模型通常按“会不会行动”来评价，但同一批模型在 ALFWorld 上作为行动者时会被更容易的子目标带偏。把 JEV 改作教师，在回合结束后看完整轨迹、逐个问“这个动作是否有助于达成目标”，它给出的分数加进 GRPO 后，Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升到 82.9%，在 WebShop 上从 56.8% 升到 71.4%；而 JEV 自己作为行动者只完成 42.9% 的 ALFWorld 任务。

在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。

在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。

交通信号控制此前多依赖专用感知流程产出的结构化车流状态，或把仿真图像先转成中间表示再决策。Traffic-VL 用80亿参数视觉语言模型把同步多视角图像与自然语言相位描述直接映射为相位选择，并配套 SynTra-V 把物理仿真转成经语义审计的逼真监控图像用于训练。在五个闭环基准上它与使用结构化状态的 Traffic-R1 相当，在真实监控图像上相位选择准确率为82.1%，三周十个路口实地运行相对人工历史操作把平均排队长度降低10.4%。

交通信号控制此前多依赖专用感知流程产出的结构化车流状态，或把仿真图像先转成中间表示再决策。Traffic-VL 用80亿参数视觉语言模型把同步多视角图像与自然语言相位描述直接映射为相位选择，并配套 SynTra-V 把物理仿真转成经语义审计的逼真监控图像用于训练。在五个闭环基准上它与使用结构化状态的 Traffic-R1 相当，在真实监控图像上相位选择准确率为82.1%，三周十个路口实地运行相对人工历史操作把平均排队长度降低10.4%。

长程语言模型智能体的交互历史越积越长，上下文压缩因此成为必需，而已有的学习式压缩方法往往依赖下游任务结果或求解器行为。SumOne 是一个独立的20亿参数摘要器，用掩码重建构造与任务无关的奖励，再以 GRPO 优化，训练只使用原始轨迹，不需要参考摘要或下游任务执行。在 DeepSearchQA 上，它把累计智能体输入从 2.83M 降到 591K token，F1 为 0.48，而全上下文为 0.52；在 SWE-bench Verified 上，解决率为 0.59，全上下文为 0.63，累计输入从 4.10M 降到 1.09M token。

长程语言模型智能体的交互历史越积越长，上下文压缩因此成为必需，而已有的学习式压缩方法往往依赖下游任务结果或求解器行为。SumOne 是一个独立的20亿参数摘要器，用掩码重建构造与任务无关的奖励，再以 GRPO 优化，训练只使用原始轨迹，不需要参考摘要或下游任务执行。在 DeepSearchQA 上，它把累计智能体输入从 2.83M 降到 591K token，F1 为 0.48，而全上下文为 0.52；在 SWE-bench Verified 上，解决率为 0.59，全上下文为 0.63，累计输入从 4.10M 降到 1.09M token。

多轮工具调用的强化学习训练中，推理准确率会在初期上升后跌回非智能体基线以下，TACA把原因定位到工具调用令牌拿到的整体信用为负，并改为在推理转向工具调用这一步上做监督。它在Qwen2.5-1.5B与3B上相对MT-GRPO把六个推理基准的平均准确率分别提高4.61和3.61个百分点，同时训练中的工具执行成功率保持在86.28%。

多轮工具调用的强化学习训练中，推理准确率会在初期上升后跌回非智能体基线以下，TACA把原因定位到工具调用令牌拿到的整体信用为负，并改为在推理转向工具调用这一步上做监督。它在Qwen2.5-1.5B与3B上相对MT-GRPO把六个推理基准的平均准确率分别提高4.61和3.61个百分点，同时训练中的工具执行成功率保持在86.28%。

胸片自动报告常写得通顺，却看不出哪块图像证据支撑了哪条结论。ARIVE把解剖区域检查与诊断推理交替进行，再据此撰写报告，训练数据为从MIMIC-CXR整理的159,416条多模态思维链轨迹。在MIMIC-CXR与仅含异常病例的MIMIC-ABN上，其临床效能指标整体高于所比较的模型；100例盲评中报告质量与Qwen3.5相近，平均分3.47对3.51，参考报告为3.88。

胸片自动报告常写得通顺，却看不出哪块图像证据支撑了哪条结论。ARIVE把解剖区域检查与诊断推理交替进行，再据此撰写报告，训练数据为从MIMIC-CXR整理的159,416条多模态思维链轨迹。在MIMIC-CXR与仅含异常病例的MIMIC-ABN上，其临床效能指标整体高于所比较的模型；100例盲评中报告质量与Qwen3.5相近，平均分3.47对3.51，参考报告为3.88。

多模态大模型能准确读出图中的文字，却常常无法像读纯文本那样对同一道题推理，这种落差被称为模态推理接入差距。TIGER把纯文本数学题渲染成图片，筛出模型读文本答对、看图片答错的样本，再用图像条件下的GRPO等目标做后训练。只用合成渲染图训练，Qwen3-VL-8B在MathVerse上从54.5升到65.8，Qwen2.5-VL-7B在MathVerse上从43.9升到47.5、在EMMA上从22.2升到25.7。

多模态大模型能准确读出图中的文字，却常常无法像读纯文本那样对同一道题推理，这种落差被称为模态推理接入差距。TIGER把纯文本数学题渲染成图片，筛出模型读文本答对、看图片答错的样本，再用图像条件下的GRPO等目标做后训练。只用合成渲染图训练，Qwen3-VL-8B在MathVerse上从54.5升到65.8，Qwen2.5-VL-7B在MathVerse上从43.9升到47.5、在EMMA上从22.2升到25.7。