跳到主要内容
检索

# e-means算法

1 篇关联报道

订阅更新
  1. arXiv

    e-means 把 k-means 收敛压到十分之一轮次:100 亿嵌入聚类在 GPU 上快 9.5 到 45.5 倍

    e-means 把 k-means 的质心更新换成小批量指数移动平均,并用拟合出的缩放律从问题规模直接定出批大小与步长,不再需要超参数扫描。在多个嵌入数据集上,它用 1.4 到 2.6 个 epoch 就达到 Lloyd k-means 跑 25 个 epoch 的损失,对应相对 Flash-KMeans 的 9.5 到 45.5 倍实际耗时加速,并在收敛后损失更低。在 100 亿向量的 DINO10B 上,精确分配版本用 2.5 个 epoch 把向量分成 1600 万个簇,损失低于 Lloyd 跑 25 个 epoch 的结果。

已读完全部报道