跳到主要内容
检索

# 稀疏惩罚

2 篇关联报道

订阅更新
  1. arXiv

    零样本强化学习不再被稠密任务编码拖累：加一行稀疏惩罚，DMC平均回报提高53分

    在TD-JEPA的任务编码上加一项稀疏惩罚，使推断奖励在目标附近更集中，零样本强化学习在DMC平均回报提高53分、OGBench平均成功率提高10.4个百分点。

    University of California, Merced
    Duaa Nakshbandi（第一作者）
    Sparse-TD-JEPA零样本强化学习时序差分联合嵌入预测架构稀疏惩罚后继特征
  2. arXiv

    FactorEngram 用共享字典分解 n-gram 记忆，在 340M 与 1B 骨干上把 8K 长上下文检索准确率最高提升 43.3 个百分点

    该工作提出 FactorEngram，把查找式 n-gram 记忆从「每个模式一个整体嵌入」改为「在跨模式共享的基向量字典上检索稀疏系数」，并用同一字典做基级别的上下文门控，在 340M 与 1B 参数 Transformer 骨干上改善了语言建模、下游任务与长上下文检索表现。

    Nanyang Technological UniversityBaidu (China)
    Bowen Yang（第一作者）
    FactorEngram查找式记忆基级上下文门控稀疏惩罚语言建模

已读完全部报道