跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

分层一致性蒸馏:用前沿大模型生成K个逻辑翻译并按熵分层筛选伪标签,微调小模型后在Pass@K与等价逻辑相似度上取得一致提升

该工作提出基于微调的分层一致性蒸馏方法,用前沿大模型为每个输入生成K个逻辑翻译并按语义等价聚类,再依据熵水平分别采用多数投票(低熵)、LLM-as-a-Judge(中熵)或统一化/弃权(高熵)筛选伪标签,用以微调一个更小的模型,实验显示在Pass@K与作者新提出的等价逻辑相似度指标上均取得显著且一致的提升。