并行草稿不再各猜各的:候选重排把投机解码吞吐再抬一截,并发32路仍快过未校正草稿
并行扩散草稿器一次前向就给出整块候选,但块内各位置互不知情;一种只读草稿器已有隐状态与logits的轻量校正器在相邻候选间并行打分、再从左到右贪心重选,在四个验证模型和十个基准上取得最高平均吞吐,并发32路时仍快于未校正草稿。
并行扩散草稿器一次前向就给出整块候选,但块内各位置互不知情;一种只读草稿器已有隐状态与logits的轻量校正器在相邻候选间并行打分、再从左到右贪心重选,在四个验证模型和十个基准上取得最高平均吞吐,并发32路时仍快于未校正草稿。
已读完全部报道