跨区LLM推理调度不再只看电网碳强度：把批处理与排队算进去，碳排最多降六成，SLO违规约3%

跨区部署的LLM推理服务可以在满足每token时延目标的同时，把请求更多地送到电网碳强度更低的机房，从而减少运行阶段的碳排放。 此前的碳感知调度研究多在15分钟到1小时的时间尺度上做放置，并假设时延与负载无关，也没有把连续批处理和引擎排队纳入模型。 在四个区域、每个区域四个机房、每机房四个8卡A100节点的设定下，用Llama-3.1-8B、Qwen2.5-7B和Mixtral-8x7B三种模型、MLPerf的每token时延目标做对照，基于混合整数线性规划的调度器相对轮询策略最多减少60%的碳排放，平均SLO违规为3%。

调度器在决定请求去哪个机房之前，先估计该请求在每个机房会遇到的排队等待、预填充时间和逐token解码时间，再在满足时延目标的机房里挑碳排最低的。 这套估计依赖一个按硬件标定的地理分布式推理模拟器，它把连续批处理、引擎显存不足时的排队、跨区传输时延，以及预填充和解码两个阶段各自的功耗都建模出来。 模拟器在单节点内与真实vLLM推理做了端到端对照：在2到50请求/秒、超过4万条请求上，TPOT平均误差低于5%，TTFT平均误差9.1%，GPU能耗误差在2.5%以内。

把一批请求的能耗当作机房共享成本来定价，比逐条请求相加更接近真实碳排，因此在混合专家模型上表现更好。 逐请求的整数线性规划把同一批请求的碳排当作各自成本相加，会重复计算引擎被唤醒的固定能耗。 在Mixtral-8x7B上，设施选址混合整数线性规划比这些策略多省最多8.6个百分点的碳排，SLO违规为1.3%。

这套结论适用于跨区域部署、以每token时延为服务目标的在线LLM推理，评估覆盖Llama-3.1-8B、Qwen2.5-7B和Mixtral-8x7B三种模型、低中高三档负载，以及MLPerf的时延目标。模拟器只在单节点内用Llama-3.1-8B与真实推理做过端到端验证，因为跨节点的数据并行分发需要多台引擎，而Mixtral-8x7B在TP=4下单台引擎就已占满四卡节点。作者提出后续要把研究扩展到多轮会话，因为前缀缓存会把连续请求绑定到持有其KV缓存的机房。

时延与功耗模型在A100上标定，换用其他加速器会改变碳排与时延的绝对值。工作负载是独立的单轮请求，多轮会话尚未覆盖。输出长度在调度时未知，用轻量预测器替代真实值后，碳排节省变化最多4.1个百分点，SLO违规最多上升1.1个百分点。轮询周期超过2秒后，SLO违规会明显上升。