离线强化学习不再回归移动目标：AL-LBLP用乘子法学同一线性规划，五十个OGBench任务均值60.1
核心概要
离线强化学习通常让评论家回归自举目标，并靠目标网络稳定训练。AL-LBLP沿用把样本内贝尔曼最优写成数据集上线性规划的LBLP形式，改用乘子法求解：原本固定的铰链系数变成由对偶上升学习的乘子，只剩一个惩罚参数。单个评论家、无目标网络、无集成，在50个基于状态的OGBench任务上，高斯策略、流策略和best-of-n采样分别平均55.8、55.7和60.1。
深度剖析
离线强化学习的评论家训练不再必须回归一个随策略移动的自举目标，而是直接求解数据集上的线性规划，因此不需要目标网络或评论家集成。 此前的ALBUM求解同一个LBLP，但把约束放松为固定系数的铰链惩罚，其精确性保证只是对事先选定系数的条件，且阈值依赖具体问题、事先未知。 在50个基于状态的OGBench任务上，同一评论家配高斯策略平均55.8，高于ALBUM的43.4和FQL的43.8；配best-of-n采样为60.1，高于IFQL的30.3。
约束的权重由训练过程自己学出来，而不是由人预先设定。 AL-LBLP把ALBUM的三个固定铰链系数换成按约束族学习的乘子，用对偶上升更新，整个松弛只剩一个惩罚参数，它同时充当对偶步长和违约行的二次惩罚曲率。 在凸情形下，原始最小化与对偶更新的不动点就是LBLP的KKT对；在1M步时，十个环境上按有效乘子计算的质量恒等式左端落在0.148到0.154之间，目标值为0.15。
同一个评论家可以接不同类型的策略，因为它在训练中从不查询策略，只在数据集转移上计算。 基于时序差分的方法每次更新评论家都要调用策略，用视觉-语言-动作模型作策略时每步都要付出一次前向计算，并且依赖数据之外的动作。 同一个评论家分别接高斯策略、FQL的一步流策略和best-of-n采样，在50个任务上平均55.8、55.7和60.1；批量增大到8192时训练不崩溃。源文贡献列表称FQL和FAC在批量2048至4096降到0.0，但同一源文的表9在批量2048给出FQL为4.9、FAC为0.0和0.1，两处不一致，此处不采用该数字。
启示与展望
演示范围是50个基于状态的单任务OGBench任务，8个随机种子，1M梯度步、50回合的最终评估；长程结果来自antmaze-giant和humanoidmaze-giant，把回滚长度提到50、折扣提到0.999，批量4096下分别为79.8和81.5。源文提出的下一步是把AL-LBLP评论家通过best-of-n采样接到视觉-语言-动作模型上。
惩罚参数在早期学习速度与长期稳定性之间存在权衡：取0.01时十环境均值在0.5M为56.1，到3M降到43.9，并在scene上从91.3跌到8.7；取1时1M为54.3、3M为59.2。方法在操作类任务上弱于导航类任务，基于像素的五个环境平均64.7，低于FQL的65.4和FAC的76.0。乘子按约束族取标量，是对逐行方法的近似，惩罚参数与部分超参数仍按环境选择。