连续控制强化学习长期受困于探索效率与长程信用分配，常用做法是给智能体加动作噪声或熵正则，这类探索不带方向。GANGSTER 用一个条件生成对抗网络按当前状态生成候选子目标，再用可期望回报、可达性和多样性三项结构化损失筛选，生成的目标只通过内在奖励塑形接入 TD3 与 SAC，不改动二者的核心更新规则。在 MuJoCo 的 Ant-v5 上，配 TD3 的 GANGSTER 相比基线 TD3 把解题时间缩短约 31%、最终表现提高 53%；在 HalfCheetah-v5 上配 SAC 则把最终表现提高 10%，并把解题后的达标一致性提升到 99% 以上。
该工作研究在线迭代式纳什人类反馈学习（NLHF），指出探索是关键障碍：标准迭代 NLHF 的遗憾可能随逆 KL 正则参数呈指数增长，说明仅靠策略更新带来的隐式探索并不充分；为此提出 ENPO，将 SFT 型正则化与对抗式策略探索结合，在不依赖极小极大 oracle 或显式偏好模型估计的前提下消除该指数依赖，并进一步给出使用额外 oracle 达到 O(log T) 遗憾的 BENPO，以及面向大模型微调的实用变体 DENPO；在 Llama-3-8B-Instruct 上，DENPO 在多个基准上相对所评估的 RLHF 与 NLHF 基线取得一致提升。
该工作提出温度分组强化学习（TGRL），对每个提示把 rollout 组划分为低温参考子集与高温探索子集，用两组奖励差估计提示级探索增益，并用同一 logits 下温度缩放下一词分布之间的 Jensen–Shannon 散度把该增益分配为 token 级信用；在 11 个基准上，TGRL 在不扩大 rollout 预算的前提下，把 32B 六项数学平均分提高 1.6%、CodeForces 评分提高 196.7 分、LiveCodeBench Pass@16 提高 4.4%，ALFWorld/WebShop 成功率提高 6.3%/4.9%，并以最高快 36% 的速度达到与强 RLVR 基线相当的准确率。
已读完全部报道