长程智能体训练不再只看重复状态：把任务进度写进比较条件，WebShop成功率再涨3.96与5.16个百分点

训练长程语言模型智能体时，同一组采样轨迹里不同动作的优劣比较，现在要同时看动作前的状态和任务已经推进到哪一步。 此前按重复状态或转移分组，会把任务进度不同的决策放进同一组，使结果对比混入先前进度。 在ALFWorld与WebShop、Qwen2.5-1.5B与7B四个设置上，平均成功率比匹配的GraphGPO分别提高1.04/1.46和1.09/0.47个百分点，其中ALFWorld基线已在92%以上。

做法是把已有轨迹变成带权重的动作对偏好，再作为辅助目标加进共享的任务学习里。 匹配用动作前状态摘要与观测到的评分进度组成比较上下文，按精确、粗粒度两种规则依次尝试，选第一个两种动作都有证据的规则。 标签用另一半固定折的终局结果定向，并按证据支持度加权；在WebShop、Qwen2.5-1.5B上，1990个被接受的偏好中1805个（90.70%）走粗粒度匹配。

这套构造在Qwen3骨干上同样有效，且各设计部件都有对照支持。 此前没有在Qwen3-4B与8B上验证过这种偏好构造。 WebShop上Qwen3-4B从78.18%升到82.14%，Qwen3-8B从79.69%升到84.84%，六个配对运行全部为正；三种子因子对照显示异折证据与证据加权各自带来2.34–2.40和1.61–1.67个百分点的提升。

这套方法在ALFWorld与WebShop、Qwen2.5-1.5B/7B与Qwen3-4B/8B上做了评估，每个设置三个训练种子，主指标取共享250次更新预算中最后五次计划评估的平均成功率。它面向需要从已有轨迹组中提取动作级监督的训练场景，复用采样轨迹与策略对数概率，保持无评论家训练。WebShop的评分通道使用目标评分器提供的结构化训练信息，包括属性、选项、价格匹配与购买前预览分。

偏好来自有限轨迹组内的观测性结果对比，粗粒度匹配可能保留与结果相关的差异，终局成功也取决于匹配动作之后的决策。证据加权只是调节稀疏比较的影响，对局部动作偏好的直接验证仍是重要方向。主比较使用三个训练种子并在固定验证集上重复评估，因此小幅增益仍带有统计不确定性；四个Qwen2.5设置的成功率与积分成功率配对区间都跨过零。ALFWorld在匹配交互预算下的三个种子差异为一个正、一个零、一个负。