跳到主要内容
检索

# DCOCO

1 篇关联报道

订阅更新
  1. arXiv

    并行草稿不再各猜各的:候选重排把投机解码吞吐再抬一截,并发32路仍快过未校正草稿

    并行扩散草稿器一次前向就给出整块候选,但块内各位置互不知情;一种只读草稿器已有隐状态与logits的轻量校正器在相邻候选间并行打分、再从左到右贪心重选,在四个验证模型和十个基准上取得最高平均吞吐,并发32路时仍快于未校正草稿。

已读完全部报道