跳到主要内容
检索

# 语言模型预训练

4 篇关联报道

订阅更新
  1. arXiv

    大模型预训练优化器不再逐层正交化：TUON把层叠成张量，四档模型验证损失均低于Muon与TEON

    大模型预训练优化器从逐层处理矩阵转向把同一模块的多层动量堆成三阶张量。此前按层正交化的Muon忽略层间相关，而基于矩阵展开的张量优化器只能处理两层堆叠且局限于QKV。TUON沿层方向做酉变换、对每个变换后切片单独极化再逆变换，在GPT-124M/350M与Qwen-0.6B/4B上验证损失均低于Muon和TEON，每步耗时与二者相当。

    Peking University
    Anda Tang（第一作者）
    TUON优化器张量感知优化器DecorQ变换张量奇异值分解语言模型预训练
  2. arXiv

    低资源语言不再被专家池挤掉：给路由加一个类别偏置，推理时还能撤掉

    COAX 在预训练时按数据类别给指定专家子集加正向路由偏置，让占比很小的语言、模态或领域也能分到更大的专家份额，在 345M 到 10.6B 的 MoE 上低资源类别损失普遍下降，而推理仍走标准 top-k 路由。

    Ayush K Tarun（第一作者）
    COAX类别导向专家分配混合专家模型类别对齐的专家特化语言模型预训练
  3. arXiv

    800个模型预训练显示：野生AI网页文本在数据充足时抬高损失，31.1%的AI占比需多花1.6倍算力

    研究者用EditLens与Pangram标注2021至2026年的Common Crawl网页数据，发现2026年6月通过FineWeb质量过滤的token中有27.5%为AI生成、8月升至31.1%，并预训练800个19.9M至973M参数的模型、改变AI与人类token比例，拟合出含独立收益项与损害项的新缩放律：AI token对数据匮乏模型先降损失后饱和反转，对Chinchilla最优预算模型几乎立即抬高损失，该律在留出规模上预测误差低于11个已有缩放律，并据此估算按2026年8月AI占比训练需1.6倍算力。

    University of Maryland, College Park
    Jenna Russell（第一作者）
    缩放定律AI生成的网络文本WildAI语料库语言模型预训练
  4. arXiv

    把合成预预训练从1B推到7B、100B token后，作者发现省token的收益仍在，但来源不是语法先验而是长程检索

    该研究在500M至7B四种参数规模、四种预训练数据混合、五种预预训练任务和最高100B token的预训练预算下系统评估合成预预训练（PPT），发现其下游性能与token效率收益在规模上持续存在（3B规模至少节省21B预训练token），但没有一致证据表明收益来自语法先验，收益只出现在能改善长程检索的PPT任务上，且对代码与数学占比不敏感、仅在缺少网页文本时消失。

    Mohamed bin Zayed University of Artificial IntelligenceHugging FaceUniversity of Sheffield
    Atsuki Yamaguchi（第一作者）
    合成预预训练长程检索语言模型预训练

已读完全部报道