生成式对抗网络给强化学习出中间目标：Ant-v5上TD3解题时间缩短约31%，最终表现提高53%
核心概要
连续控制强化学习长期受困于探索效率与长程信用分配，常用做法是给智能体加动作噪声或熵正则，这类探索不带方向。GANGSTER 用一个条件生成对抗网络按当前状态生成候选子目标，再用可期望回报、可达性和多样性三项结构化损失筛选，生成的目标只通过内在奖励塑形接入 TD3 与 SAC，不改动二者的核心更新规则。在 MuJoCo 的 Ant-v5 上，配 TD3 的 GANGSTER 相比基线 TD3 把解题时间缩短约 31%、最终表现提高 53%；在 HalfCheetah-v5 上配 SAC 则把最终表现提高 10%，并把解题后的达标一致性提升到 99% 以上。
深度剖析
GANGSTER 把子目标发现变成一次条件生成：给定智能体当前状态，生成器一次给出 100 个候选中间目标，再由打分函数挑出一个作为本阶段的探索锚点。 此前的分层强化学习要么需要人工指定层级、任务专用抽象或额外控制器，要么依赖启发式、固定聚类或隐式表示来发现子目标，对中间目标的质量缺少显式控制。 在 Ant-v5 上配 TD3 时，GANGSTER 的解题时间为 209 个回合，基线 TD3 为 303.4 个回合，约缩短 31%；最终 50 回合平均奖励为 1850.62，基线为 1205.99，约提高 53%。
生成器不是只靠对抗损失训练，它的目标里还加了三项可解释的约束，分别把子目标拉向高价值状态、拉近当前状态、并在一个批次内彼此拉开。 三项约束分工不同：可期望回报项提供主要性能信号，可达性项惩罚过远或不可行的目标以稳住训练，多样性项防止生成器塌缩到少数重复目标。 消融在 TD3 与 Ant-v5、SAC 与 HalfCheetah-v5 两组算法–环境配对上完成，覆盖单项、两两组合与等权配置；两组中偏向可期望回报的配置都取得最高最终表现，SAC 一侧多数配置的达标一致性在 97% 以上。
选中的子目标只改变奖励信号：每一步按智能体到该目标的距离缩减量算出一个内在奖励，乘以权重后与环境奖励相加，再存进回放缓冲区。 TD3 与 SAC 的演员–评论家更新方程保持不变，因此基线原有的稳定性得以保留，新增的只是数据分布与奖励塑形。 跨环境评测覆盖 Pendulum-v1、Hopper-v5、HalfCheetah-v5、Walker2d-v5 和 Ant-v5，每个算法–环境配对训练 500 个回合、重复 5 个随机种子，内在奖励权重取 0.1 到 0.3。
启示与展望
评测范围限于 Gymnasium 提供的 MuJoCo 仿真连续控制任务，即 Pendulum-v1、Hopper-v5、HalfCheetah-v5、Walker2d-v5 和 Ant-v5，每个算法–环境配对训练 500 个回合并重复 5 个随机种子；方法本身假设有意义的子目标可以直接在状态空间中表示。
提升并不均匀：在 Pendulum-v1 这类低复杂度任务上，GANGSTER 未带来可测收益，配 SAC 时解题时间还变长；在 HalfCheetah-v5 上配 TD3 时基线解题反而更快且差异显著；Walker2d-v5 上收敛更快、稳定性更好，但最终奖励略低于基线。结构化损失的权重与内在奖励缩放系数需要调参，作者指出这可能影响可复现性；每步计算时间增加 45% 到 216%，其中 Hopper-v5 最高。