自动驾驶车队只顾自己抄近路，人类司机多堵1.7%；给奖励加一项社会成本，降到1.1%

自动驾驶车辆的路径选择会给人类驾驶车辆带来外部性：当自动驾驶车辆只最小化自己的通行时间时，人类司机的通行时间相对自动驾驶车辆进入系统之前上升。 此前人类司机通过重复通勤更新路径效用，系统接近均衡；自动驾驶车辆进入后改用多智能体强化学习学习路径策略，其自利路径选择改变了这一状态。 在Ingolstadt与Provins两个真实路网上，所有考察的自动驾驶渗透率下人类司机通行时间都变长；Ingolstadt中40%自动驾驶车辆自利路径选择使其他车辆通行时间增加1.7%。

把社会项加入自动驾驶车辆的奖励后，人类司机通行时间的上升被压低，同时自动驾驶车辆的平均通行时间还略有缩短。 与自利路径选择相比，加入边际成本后人类司机的相对通行时间变化上升，说明其通行时间比自利情形更短。 Ingolstadt中该增幅从1.7%降到1.1%；在测试的城市、渗透率与重复实验之间结果一致。

只对系统影响最大的那部分自动驾驶车辆计算边际成本，就能以更少的反事实仿真取得接近全量计算的效果。 全量计算边际成本需要为每辆自动驾驶车辆每天通勤各做一次反事实仿真；Ingolstadt在40%渗透率、约414辆自动驾驶车辆、1万次训练迭代下约需414万次反事实仿真。 对影响最大的40%自动驾驶车辆计算边际成本时降到约166万次，加上用于识别高影响车辆的80万条联合动作样本，总计约245.6万次，比全量计算减少约40%，而人类司机相对通行时间变化平均只低约0.2个百分点。

这套奖励在Ingolstadt与Provins两个真实路网上验证，覆盖多个自动驾驶渗透率与重复实验，训练用REINFORCE，每个智能体独立学习，奖励形式本身不绑定该算法。实验设定中出发时间与需求在仿真日内保持不变，路径集合固定，人类学习在自动驾驶车辆接入后关闭，人类路径选择从固定分布中采样。选择性边际成本在Ingolstadt、40%渗透率下评估，高影响车辆从80万条联合动作样本中识别。

社会项权重增大时，人类司机通行时间进一步改善，但自动驾驶车辆与整体系统通行时间变差，超过某一取值后两者都恶化。在Ingolstadt，权重从0升到0.1时人类司机、自动驾驶车辆与系统通行时间相对自动驾驶车辆进入前分别改善0.6、0.1与0.4个百分点；升到0.2时人类司机再改善0.1个百分点，而自动驾驶车辆与系统的相对通行时间变化分别下降1.3与0.5个百分点。接受边际成本奖励的自动驾驶车辆相对通行时间变化小于自利车辆，即承担系统影响的车辆自身可能更差。