跳到主要内容
检索

Jenna Russell

1 篇关联报道

订阅更新
  1. arXiv

    800个模型预训练显示:野生AI网页文本在数据充足时抬高损失,31.1%的AI占比需多花1.6倍算力

    研究者用EditLens与Pangram标注2021至2026年的Common Crawl网页数据,发现2026年6月通过FineWeb质量过滤的token中有27.5%为AI生成、8月升至31.1%,并预训练800个19.9M至973M参数的模型、改变AI与人类token比例,拟合出含独立收益项与损害项的新缩放律:AI token对数据匮乏模型先降损失后饱和反转,对Chinchilla最优预算模型几乎立即抬高损失,该律在留出规模上预测误差低于11个已有缩放律,并据此估算按2026年8月AI占比训练需1.6倍算力。

已读完全部报道