跳到主要内容
检索

# 模型蒸馏

2 篇关联报道

订阅更新
  1. arXiv

    GenoTrace 用密码子感知水印让基因组模型蒸馏后的学生模型仍可被检测,三种子实验达 94.5% 检出率

    该工作提出 GenoTrace——一种密码子感知的绿名单水印扩展,用密码子位置和物种特异密码子用法两个 token 级因子调制教师模型的生成偏置,使生成的合成序列在蒸馏训练更小学生模型后仍可被审计;在 GenomeOcean-500M 到 100M 的三种子实验中,联合配置取得平均审计分 17.88、固定阈值下 94.5% 检出率,在密钥感知 token 替换后保留 49.0% 检出(单种子普通水印对照为 0%),在机制靶向核苷酸编辑组合后保留 47.0%。

  2. arXiv

    Mid-Harness 在模型与执行框架之间验证候选动作,把 TMAX-9B 在 TerminalBench-Lite 上的 Pass@1 从 50.00% 提升到 68.03%

    该工作提出 Mid-Harness,在动作生成器与执行框架之间对候选动作进行采样与验证后再执行其中一个,在保持生成器和框架不变的前提下研究动作级测试时计算扩展:在 TerminalBench-Lite 上,用 GPT-5.6 Sol 作为验证器把 TMAX-9B 的 Pass@1 从 50.00% 提升到 68.03%(8 个候选动作),而弱验证下增加采样宽度收益很小,成对验证在自验证设置中表现最好,把强验证器的响应蒸馏进 TMAX-9B 可进一步提升 Pass@1,且动作级扩展与轨迹级扩展(Best-of-N 与 Sequential Refine)组合后能以更低的估计 token 成本取得更高成功率。

已读完全部报道