跳到主要内容
检索

# 条件记忆

5 篇关联报道

订阅更新
  1. bioRxiv

    噬菌体DNA模型改走双向去噪:可见错误碱基里,CPDD一次前向修正42.4%

    自回归DNA语言模型只能从左往右生成,而基因组修复与编辑往往同时依赖两侧序列。CreatiPhage团队把144.5M参数的噬菌体自回归模型改造成147.5M参数的双向离散扩散模型CPDD,在522个经筛选的噬菌体编码序列上,随机掩码恢复准确率高于同类扩散模型PhaGen,混合损坏测试中一次前向把42.4%的可见错误碱基改回正确碱基。

  2. arXiv

    条件记忆表不再按访问频率分比特:按门控逐次查询,DeepSeek表显存从23.6降到3.04 GiB

    大模型把部分事实知识存进按前文词串检索的哈希表,低比特量化会先丢掉长尾事实,而按访问频率给常用行更高精度反而比随机选择更差。GateRQ把每行存成逐级细化的残差码,先用1比特码算出每个查询的门控,再只给门控排名靠前的查询读取更深层。在DeepSeek-V4.1-Flash上,它把每GPU表显存从23.6 GiB降到3.04 GiB,vLLM吞吐在两种负载下比FP8表常驻显存分别高约11%和约31%,PopQA在1.50比特/查询时比FP8低约1个点。

  3. arXiv

    大模型查表记忆压到两比特:DeepSeek表从203GB降到51GB,预填提速近五倍

    条件记忆让语言模型靠查表扩充容量,但整张嵌入表必须常驻,DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度,用全表共享的高斯网格重建,只解码当前输入请求的行;两比特下存储缩小约四到八倍,多数任务分数接近原值,输出KL比两比特最近舍入低41–63%。

  4. arXiv

    EngramEdit 通过条件记忆实现解耦知识更新,CounterFact 效用达 93.9 并保留逾 96% 通用能力

    EngramEdit 提出一种通过条件记忆实现解耦知识更新的方法:先为同一事实的多种表达计算目标记忆表示,再联合求解共享 n-gram 嵌入的更新,并对高频复用嵌入施加更强惩罚;在 LongCat-Flash-Lite 上,仅更新条件记忆即可在 CounterFact 与 ZsRE 上取得近乎完美的编辑成功率,改写后的知识可用于未见表达与多跳推理,且无关知识与通用能力基本保持。

  5. arXiv

    MoME:把稀疏查表变成上下文感知的记忆混合

    该工作提出 Mixture of Memory Embeddings(MoME),把每个 token 的单一记忆行扩展为多个记忆槽,并用基于隐藏状态的学习门控在每一位置稀疏选择要读取的槽,从而在保持 token 索引式廉价查表的同时让记忆检索具备上下文感知;在 nanochat、Llama-3/MobileLLM 与 Qwen3 三类骨干的受控预训练中,MoME 在等参数与等训练 FLOP 设定下优于 Value Embedding、Bigram 与 STEM 基线,在十亿参数以下规模显示出更有利的记忆规模扩展趋势,训练与推理仍保持高效,并且对多义词的路由分析显示同一表层 token 在不同语义下被派发到不同记忆槽。

已读完全部报道