跳到主要内容

# 流水线并行

2 篇关联报道

PyTorch 2026年10月29日
PyTorch 2.15把重写的NCCL后端设为默认：集合通信卡住时，每个rank自动落盘现场
PyTorch 2.15把2.14中作为可选nccl2预览的重写NCCL后端设为所有nccl进程组的默认，并保留TORCH_DIST_USE_NCCL2=0与nccl-legacy两条回退路径。此前集群规模下单个GPU停滞就可能拖停整个训练，定位原因往往要靠手工复现；新版本加入与后端无关的飞行记录器，集合通信挂起时向磁盘写出事后现场，任一rank超时都会触发所有rank转储。
PyTorch 2.15把2.14中作为可选nccl2预览的重写NCCL后端设为所有nccl进程组的默认，并保留TORCH_DIST_USE_NCCL2=0与nccl-legacy两条回退路径。此前集群规模下单个GPU停滞就可能拖停整个训练，定位原因往往要靠手工复现；新版本加入与后端无关的飞行记录器，集合通信挂起时向磁盘写出事后现场，任一rank超时都会触发所有rank转储。
PyTorch
PyTorch 2.15 发布重写的NCCL分布式通信后端 FSDP2 全分片数据并行流水线并行 NVGEMM NVFP4 解码
arXiv 2026年9月29日
FlashForward 复用飞行中 KV 缓存并加稀疏干净锚点，在四 GPU 上把 20 秒以上视频生成提速 1.16–1.69 倍且 VBench 总分达 0.838
FlashForward 把自回归视频扩散中每个普通去噪前向已经算出的“飞行中”KV 缓存直接发布给后续分块复用，并用提前生成的稀疏干净锚点 KV 提供长程结构引导，从而省去仅用于更新缓存的额外前向；在最多四块 GPU 上，对 16 FPS、20 秒以上的 1.3B 与 14B 模型在 480p 和 720p 下比 HiAR 快 1.16–1.69 倍、比 Self-Forcing 快 1.42–2.92 倍，1.3B 模型 480p 的 VBench-1.0 总分为 0.838，并在 20s、35s、65s 时长上保持稳定。
FlashForward 把自回归视频扩散中每个普通去噪前向已经算出的“飞行中”KV 缓存直接发布给后续分块复用，并用提前生成的稀疏干净锚点 KV 提供长程结构引导，从而省去仅用于更新缓存的额外前向；在最多四块 GPU 上，对 16 FPS、20 秒以上的 1.3B 与 14B 模型在 480p 和 720p 下比 HiAR 快 1.16–1.69 倍、比 Self-Forcing 快 1.42–2.92 倍，1.3B 模型 480p 的 VBench-1.0 总分为 0.838，并在 20s、35s、65s 时长上保持稳定。
Yikai Wang（第一作者）
FlashForward KV缓存自回归视频生成流水线并行

已读完全部报道