离线强化学习不再回归移动目标：AL-LBLP用乘子法学同一线性规划，五十个OGBench任务均值60.1
离线强化学习通常让评论家回归自举目标，并靠目标网络稳定训练。AL-LBLP沿用把样本内贝尔曼最优写成数据集上线性规划的LBLP形式，改用乘子法求解：原本固定的铰链系数变成由对偶上升学习的乘子，只剩一个惩罚参数。单个评论家、无目标网络、无集成，在50个基于状态的OGBench任务上，高斯策略、流策略和best-of-n采样分别平均55.8、55.7和60.1。
30个异构控制任务共用一个序列骨干：HeteroGrad-DT把平均归一化回报再提32.3%
异构多任务离线强化学习里，各任务的状态维度、动作空间和动力学差异很大，直接共享骨干会同时遇到接口错位和梯度冲突。HeteroGrad-DT在共享序列骨干外为每个任务配独立的输入分词器和预测头，并用梯度流Transformer按同步间隔汇总各任务梯度、学习融合权重来协调共享更新。在DeepMind Control Suite最多30个任务的设定下，它的平均归一化回报高于代表性的多任务方法，30任务上相对共享骨干标准训练提升32.3%，相对同样任务接口下的PCGrad基线提升8.6%。
难治性抑郁的rTMS每次怎么调：强化学习从真实病历里学出方案，换诊所后仍对得上
难治性抑郁的重复经颅磁刺激（rTMS）疗程约36次，每次选刺激类型、强度和单双侧，临床缺少逐次调整的循证依据。研究用一家行为健康网络2023年1月至2025年6月、19个诊所组1609名成人的电子病历训练强化学习策略，在未参与训练的6个诊所370名患者上，医生选择与推荐一致的场次，下一次PHQ-9改善比不一致场次多0.788分（95%置信区间0.634–0.940）。若每次都按推荐执行，首个疗程被推算可多改善3.22分，但这是回顾性关联，尚未做前瞻验证。
ICDP用对比密度比估计约束交互分布偏移，在nuPlan闭环与实车卡车上抑制高价值但交互不支持的轨迹
该工作提出ICDP，一种离线强化学习框架：它把自我车辆与周围智能体联合支持度的退化精确分解为自我轨迹支持项与残差交互支持项，并用对比密度比估计恢复后者，从而在不建模联合密度、不预测周围智能体、不做反应式仿真或世界模型推演的前提下约束策略改进；在nuPlan、InterPlan闭环评测与真实卡车实验中，ICDP抑制了高价值但交互不支持的轨迹选择，并在交互关键场景中提升表现。
SWAP 用离线强化学习在 VLA 策略间逐步路由，DROID 真实任务成功率从 63.3% 提升到 96.7%
SWAP 把机器人策略路由建模为离线强化学习问题，用 IQL 训练一个路由 critic，在每个动作块之后根据当前观测从多个预训练 VLA 策略中选出预期长期回报最高者；在真实 DROID 桌面操作上，成功率从最佳单一策略的 63.3% 提升到 96.7%，成功轨迹的平均动作步数从 269 降到 193（减少 28.3%），并在 LIBERO 与 LIBERO-Plus 仿真中优于固定策略与随机路由。
Decision Titan 将测试时训练层接入 Decision Transformer，在 X-Maze 中学会比上下文窗口长 20 倍的长程依赖
该工作把测试时训练（TTT）层加入 Decision Transformer，构成 Decision Titan，并在用于检验序列记忆的 X-Maze 环境中分析其性能与记忆机制：模型能学到比上下文窗口长 20 倍的长程依赖，可泛化到训练数据 1.7 倍的长度，但时间泛化取决于所用的时间嵌入，而长程依赖的学习能力取决于相关信息如何被编码。
Retrieve-for-Train：用离线强化学习编译查询扇出，以扩散检索器绕过推理延迟瓶颈
该工作提出 Retrieve-for-Train 框架，先用离线强化学习训练一个扇出语言模型（基于 Gemma3-4B 与 Qwen3-4B，每次生成 10 个子查询），以 groundedness、Vendi Score 多样性、对齐度三项复合奖励评估整组结果，再把该行为蒸馏进一个 53.9M 参数的扩散检索器，使其在连续嵌入空间中一次非自回归并行生成完整目标集合，从而在开放式抽象检索与弱监督组合检索两类任务上超过单查询检索、零样本扩展与 Best-of-N 基线，并相对自回归方法取得 12 至 20 倍加速。
已读完全部报道