30个异构控制任务共用一个序列骨干：HeteroGrad-DT把平均归一化回报再提32.3%
核心概要
异构多任务离线强化学习里，各任务的状态维度、动作空间和动力学差异很大，直接共享骨干会同时遇到接口错位和梯度冲突。HeteroGrad-DT在共享序列骨干外为每个任务配独立的输入分词器和预测头，并用梯度流Transformer按同步间隔汇总各任务梯度、学习融合权重来协调共享更新。在DeepMind Control Suite最多30个任务的设定下，它的平均归一化回报高于代表性的多任务方法，30任务上相对共享骨干标准训练提升32.3%，相对同样任务接口下的PCGrad基线提升8.6%。
深度剖析
多任务离线强化学习现在可以让状态维度和动作维度各不相同的控制任务共用一个序列骨干，而不必先把它们补齐到同一输入输出尺寸。 此前的多任务Decision Transformer类方法主要靠共享骨干、任务提示或参数掩码，在任务结构差异大时仍要把异构状态动作压进同一接口，零填充会引入没有语义的维度。 在DeepMind Control Suite的30任务设定上，HeteroGrad-DT的平均归一化回报为42.40，比直接共享骨干的MTDT高10.35分，约合32.3%的相对提升，结果取五个随机种子。
共享骨干的更新不再只靠每一步的梯度投影或静态正则，而是每隔一段训练间隔按任务汇总梯度后再统一协调。 PCGrad一类方法在每一步修正瞬时冲突，HeteroGrad-DT则把同步间隔内累积的梯度取均值，连同任务统计量一起送入梯度流Transformer学习融合权重。 在同样使用任务感知接口的条件下，30任务上它比HAP加PCGrad高3.35分，约合8.6%；去掉梯度流Transformer后，5、10、30任务的分数从83.46、77.99、42.40降到80.35、75.24、40.69。
每个任务用自己的线性投影把状态和动作变成统一维度的词元，再由自己的预测头把共享表示映射回本任务的动作空间。 零填充式的统一接口会让共享模型把结构上不可比的维度当成已对齐，任务身份还会和填充模式纠缠在一起。 在固定的MT10验证划分上，任务感知接口总体上降低了动作预测的均方误差和绝对平均误差，但动作饱和间隙的结果并未在所有任务上一致改善。
启示与展望
评测范围限于DeepMind Control Suite的基于状态仿真控制，任务数最多30个，使用每任务2000条轨迹的medium-replay数据集、五个随机种子和100万次训练迭代。训练成本对照在单张NVIDIA RTX 4090上完成，HeteroGrad-DT为7.36M参数、峰值显存11928 MiB、吞吐43.54次迭代每秒、训练6.38小时。
真实机器人部署下的表现尚未验证，实机会带来传感噪声、执行延迟、硬件约束、动力学失配和安全要求，这些都不在当前评测中。任务集合扩大到远超30个时共享骨干和梯度描述符的行为仍待考察，固定维度的任务统计量和间隔均值梯度摘要也会有信息压缩。后续工作将评估物理机器人或更高保真度的仿真到现实基准，扩展到视觉观测，并研究自适应描述符构造与同步策略。