跳到主要内容
返回时间线
arXiv来源发表:

潜反馈让每个FLOP更值钱:同等算力下最多省48%,同等轮数下最多省47%唯一数据

核心概要

潜反馈Transformer把每个词元顶层状态送入下一个词元的输入,此前只在固定训练词元数下与普通Transformer比较,没有考虑重复数据。研究在60M到778M参数、12.5到400唯一词元/非嵌入参数、1到4轮的网格上,对两种模型在每个规模和数据量下分别调参,发现唯一数据充足时潜反馈用更少算力达到同样损失,固定轮数时用更少唯一数据达到同样损失,两项节省都随每参数唯一数据和重复轮数增长。拟合的缩放律在留出的778M规模上把损失预测到0.3%以内、把两模型差距预测到0.05%以内。

AI-generated editorial illustration: Latent Feedback Is a Compute and Data Amplifier

深度剖析

在唯一数据固定、模型规模相同的条件下,潜反馈Transformer用更少训练算力达到普通Transformer的验证损失,节省幅度随每参数唯一数据和训练轮数上升。 此前的潜反馈比较固定训练词元数,也没有重复数据;数据耗尽后常见的做法是多轮重复训练,而每一轮重复的价值低于上一轮,因此公平的对照是让普通Transformer把同等算力花在更多轮上。 在60M到778M参数、12.5到400唯一词元/非嵌入参数、1到4轮的网格上,两模型在每个规模和数据量下都单独调参;两轮时潜反馈在12.5唯一词元/非嵌入参数处多花8%算力,在100处省15%到18%,在400处省44%到48%,超过约75唯一词元/非嵌入参数后在每个训练预算下都省算力。

在轮数固定、模型规模相同的条件下,潜反馈用更少唯一数据达到普通Transformer的验证损失,且推理时参数与KV缓存规模不变。 普通Transformer要达到同一损失需要更多唯一数据,而潜反馈每个词元的训练FLOPs约为普通Transformer的1.2倍,这一代价换来的是更低的容量下限。 一轮、50唯一词元/非嵌入参数时,潜反馈在271M上省16%唯一数据、在778M上省20%;三轮、100唯一词元/非嵌入参数时,在271M上省41%;271M、两轮时数据乘数为1.34,即少用25%唯一数据。

一条缩放律同时拟合两种模型,把潜反馈写成参数多出若干倍的Transformer,并据此给出两种节省随规模、唯一数据和重复轮数的走势。 网格内的乘数只覆盖到778M、400唯一词元/非嵌入参数和四轮,超出网格的走势需要外推。 用60M、134M、271M的128个格子联合拟合,律在留出的778M规模上平均绝对误差0.13%、最大0.29%,每一行对两模型差距的预测误差在0.05%以内,7行中6行给出实测的胜负符号、第7行为平局。

启示与展望

结论建立在60M到778M参数、12.5到400唯一词元/非嵌入参数、1到4轮的网格上,两种模型共用同一现代解码器骨干,并在每个规模和数据量下分别调参;节省是在固定模型规模下测得的,潜反馈每个词元的训练FLOPs约为普通Transformer的1.2倍,推理时每个生成词元的代价与普通Transformer相同,但预填充提示需要额外的定点迭代前向。

作者指出规模阶梯仍相对较小且只用了一个骨干,更大模型、更大数据预算和其他架构可能移动交叉点;潜反馈只用一个固定训练日程训练,仍有进一步优化空间;与循环深度模型的比较留待后续工作。缩放律中的规模项在60M到271M内不显著,留出的778M支持它,但留出行只来自三次主运行,只提供三个独立符号。