跳到主要内容
检索

Tianqi Chen

1 篇关联报道

订阅更新
  1. arXiv

    条件记忆表不再按访问频率分比特:按门控逐次查询,DeepSeek表显存从23.6降到3.04 GiB

    大模型把部分事实知识存进按前文词串检索的哈希表,低比特量化会先丢掉长尾事实,而按访问频率给常用行更高精度反而比随机选择更差。GateRQ把每行存成逐级细化的残差码,先用1比特码算出每个查询的门控,再只给门控排名靠前的查询读取更深层。在DeepSeek-V4.1-Flash上,它把每GPU表显存从23.6 GiB降到3.04 GiB,vLLM吞吐在两种负载下比FP8表常驻显存分别高约11%和约31%,PopQA在1.50比特/查询时比FP8低约1个点。

已读完全部报道