跳到主要内容
检索

# 词表长尾坍缩

1 篇关联报道

订阅更新
  1. arXiv

    连续扩散语言模型漏掉生僻词:GRAFT不改权重,把ELF-B稀有词份额从人类速率的0.42倍拉到0.82倍

    连续扩散语言模型并行生成整句,中间不逐词抽样,代价是词表长尾塌缩:ELF在常见词上几乎与人类文本持平,最稀有词却只到人类速率的一小部分,且从1.05亿到6.52亿参数、各种采样器设置都补不回来。GRAFT在推理阶段读取解码头,把即将被平均值淹没的稀有词固定下来,再从噪声重新生成,在三个ELF规模和独立实现的LangFlow上把稀有词份额从人类速率的0.42–0.77倍提高到0.82–1.25倍,代价是非词比例在部分模型上小幅上升。

已读完全部报道