自动驾驶车队只顾自己抄近路，人类司机多花1.7%时间；给奖励加一项社会成本，多出来的时间降到1.1%
核心概要
在真实路网上，只最小化自身通行时间的自动驾驶车辆会把人类驾驶车辆的平均通行时间推高，因为道路容量有限，绕开拥堵的路线被抢走后成本转移给了别人。研究把“边际成本”这一项加进自动驾驶车辆的奖励：用一次反事实仿真把该车从路网中移除，比较其余车辆通行时间的变化，从而量化它对系统的影响。在因戈尔施塔特和普罗万两个真实路网上，加入社会项后人类车辆通行时间的增幅从1.7%降到1.1%，自动驾驶车辆自身也更快；只对约40%影响最大的车辆计算边际成本，可把额外仿真次数从约414万降到约246万，效果接近全量计算。
深度剖析
自动驾驶车辆按自身通行时间最短来选路，会让同路网中的人类驾驶车辆变慢，这种代价在引入自动驾驶车辆之前并不存在。 此前人类司机通过反复通勤把路径选择收敛到随机用户均衡，系统接近稳定；自动驾驶车辆加入后改用多智能体强化学习学路径策略，其目标只包含自己的通行时间。 在因戈尔施塔特和普罗万两个真实路网上，40%的车辆换成自动驾驶车辆后，人类驾驶车辆的平均通行时间比引入前上升1.7%，且这一方向在所有测试的渗透率下都出现。
把边际成本写进自动驾驶车辆的奖励后，人类驾驶车辆通行时间的增幅收窄，同时自动驾驶车辆自己也没有变慢。 边际成本定义为：把某辆自动驾驶车辆从仿真中移除，其余所有车辆通行时间总和的变化量，它衡量这辆车给系统带来的额外时间。 在因戈尔施塔特，加入社会项后人类驾驶车辆通行时间的增幅从1.7%降到1.1%；在普罗万同样观察到增幅收窄，且自动驾驶车辆的平均通行时间略低于纯自私选路。
只给影响最大的那部分自动驾驶车辆计算边际成本，就能用更少的反事实仿真拿到接近全量计算的效果。 全量做法要为每辆自动驾驶车辆每天各跑一次反事实仿真，因戈尔施塔特40%渗透率、1万次训练迭代下约需414万次额外仿真。 按历史影响分数排序后只对40%的车辆施加边际成本奖励，额外仿真降到约166万次，加上用于识别高影响车辆的80万条联合动作样本，总计约246万次，人类驾驶车辆通行时间增幅比全量计算差约0.2个百分点。
启示与展望
结论建立在因戈尔施塔特和普罗万两个真实路网的仿真上，需求、出发时间和可选路径集合在仿真日内保持不变，人类路径选择在自动驾驶车辆加入后固定为已学到的分布。适用读者是研究交通分配、多智能体强化学习奖励设计和城市路网运营的研究人员与工程师。边际成本奖励的形式不依赖具体多智能体算法，实验用REINFORCE训练，但验证范围限于上述两个路网和测试的渗透率。
社会项权重不能无限加大：权重超过一定值后，人类驾驶车辆通行时间继续改善，但自动驾驶车辆和系统整体通行时间反而变差，因戈尔施塔特和普罗万各自存在这样的转折点。选择性边际成本在10%高影响车辆时，人类驾驶车辆通行时间增幅比全量计算差约0.45个百分点，说明筛选比例过低会损失效果。自动驾驶车辆中承担社会项的那部分，其相对通行时间变化小于只拿自私奖励的车辆，即承担系统影响的车辆个体上并不占优。