跳到主要内容
检索

# 行范数恢复

1 篇关联报道

订阅更新
  1. arXiv

    大模型查表记忆压到两比特:DeepSeek表从203GB降到51GB,预填提速近五倍

    条件记忆让语言模型靠查表扩充容量,但整张嵌入表必须常驻,DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度,用全表共享的高斯网格重建,只解码当前输入请求的行;两比特下存储缩小约四到八倍,多数任务分数接近原值,输出KL比两比特最近舍入低41–63%。

已读完全部报道