大模型查表记忆压到两比特:DeepSeek表从203GB降到51GB,预填提速近五倍
条件记忆让语言模型靠查表扩充容量,但整张嵌入表必须常驻,DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度,用全表共享的高斯网格重建,只解码当前输入请求的行;两比特下存储缩小约四到八倍,多数任务分数接近原值,输出KL比两比特最近舍入低41–63%。
条件记忆让语言模型靠查表扩充容量,但整张嵌入表必须常驻,DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度,用全表共享的高斯网格重建,只解码当前输入请求的行;两比特下存储缩小约四到八倍,多数任务分数接近原值,输出KL比两比特最近舍入低41–63%。
已读完全部报道