跳到主要内容
检索

Shuyu Gan

1 篇关联报道

订阅更新
  1. arXiv

    决策模型不再只跑一遍:同一批层循环八次,1.4B模型逼近三倍参数的单次模型

    类型化决策模型过去只做一次前向传播就给出选项概率,算力固定,遇到需要多步推理的判定就吃力。SanSi把预训练时就带循环的语言模型改造成决策模型,每一轮循环都读出选项概率并用恰当评分规则训练,因此一个模型可服务从一轮到八轮的所有算力预算。在来自59个来源的10,027条测试决策上,它达到72.0%准确率,比同形状、同配方的非循环模型高13.5个百分点,比参数三倍于它的单次模型低1.8个百分点,代价是单次传播7.7倍的GPU时间。

已读完全部报道