# 增广拉格朗日方法

离线强化学习通常让评论家回归自举目标，并靠目标网络稳定训练。AL-LBLP沿用把样本内贝尔曼最优写成数据集上线性规划的LBLP形式，改用乘子法求解：原本固定的铰链系数变成由对偶上升学习的乘子，只剩一个惩罚参数。单个评论家、无目标网络、无集成，在50个基于状态的OGBench任务上，高斯策略、流策略和best-of-n采样分别平均55.8、55.7和60.1。

离线强化学习通常让评论家回归自举目标，并靠目标网络稳定训练。AL-LBLP沿用把样本内贝尔曼最优写成数据集上线性规划的LBLP形式，改用乘子法求解：原本固定的铰链系数变成由对偶上升学习的乘子，只剩一个惩罚参数。单个评论家、无目标网络、无集成，在50个基于状态的OGBench任务上，高斯策略、流策略和best-of-n采样分别平均55.8、55.7和60.1。