跳到主要内容
检索

# 解耦信用自蒸馏

1 篇关联报道

订阅更新
  1. arXiv

    DCSD把自蒸馏的信用方向与幅度拆开:11个基准总体最优,数学推理较基座提升8.45分

    该工作提出解耦信用自蒸馏(DCSD),用信念边际探测确定每步推理的信用方向、用边际信息增益量化其贡献幅度,再让特权教师只负责步内token分配,在11个数学与多模态推理基准上总体得分优于GRPO、OPSD、RLSD与RLCSD,相比基座模型数学推理总体提升8.45分、多模态推理提升7.01分,并纠正约6% token的信用方向、使token信用幅度降低约1.5倍。

已读完全部报道