# 多任务强化学习

异构多任务离线强化学习里，各任务的状态维度、动作空间和动力学差异很大，直接共享骨干会同时遇到接口错位和梯度冲突。HeteroGrad-DT在共享序列骨干外为每个任务配独立的输入分词器和预测头，并用梯度流Transformer按同步间隔汇总各任务梯度、学习融合权重来协调共享更新。在DeepMind Control Suite最多30个任务的设定下，它的平均归一化回报高于代表性的多任务方法，30任务上相对共享骨干标准训练提升32.3%，相对同样任务接口下的PCGrad基线提升8.6%。

异构多任务离线强化学习里，各任务的状态维度、动作空间和动力学差异很大，直接共享骨干会同时遇到接口错位和梯度冲突。HeteroGrad-DT在共享序列骨干外为每个任务配独立的输入分词器和预测头，并用梯度流Transformer按同步间隔汇总各任务梯度、学习融合权重来协调共享更新。在DeepMind Control Suite最多30个任务的设定下，它的平均归一化回报高于代表性的多任务方法，30任务上相对共享骨干标准训练提升32.3%，相对同样任务接口下的PCGrad基线提升8.6%。

AlphaNIST把NIST装配任务板1的20个装配任务放进同一个强化学习策略里训练，只给二值成败奖励，不用示教、不用进度塑形、不用脚本化动作原语，也不逐任务调参。此前学习类方法通常一次只解一个任务，或依赖固定顺序、预设初始位姿和稠密奖励引导。在仿真中，这条共享策略达到98.2%的整体训练成功率，并在小零件任务上超过单独训练的策略。

AlphaNIST把NIST装配任务板1的20个装配任务放进同一个强化学习策略里训练，只给二值成败奖励，不用示教、不用进度塑形、不用脚本化动作原语，也不逐任务调参。此前学习类方法通常一次只解一个任务，或依赖固定顺序、预设初始位姿和稠密奖励引导。在仿真中，这条共享策略达到98.2%的整体训练成功率，并在小零件任务上超过单独训练的策略。