跳到主要内容
检索

Xiaohongshu (Little Red Book) (China)

4 篇关联报道

订阅更新
  1. arXiv

    深层KV不再各层自建：跨层重建把16B MoE的MMLU-Pro抬高7.0个百分点

    DepthGraft把跨层KV共享从省缓存的推理技巧改造成一种训练期的结构正则：深层不再独立计算KV，而是从浅层与中层按相同相对深度取一对源层，用可学习的逐通道系数重建。这样深层的梯度会沿共享边回流到源层KV投影，使键的检索方向更集中、值的内容子空间更丰富。在0.5B到16B的稠密与MoE模型上，下游平均分一致提高，16B MoE的MMLU-Pro绝对提升7.0个百分点，同时KV缓存减少约三分之一。

    Shanghai Jiao Tong UniversityXiaohongshu (Little Red Book) (China)
    Xiaohan Qin（第一作者）
    DepthGraft跨层KV共享
  2. arXiv

    ARR 让多模态检索器用检索到的条目迭代改写查询，在 M-BEIR 与七个零样本基准上取得最高平均分

    作者提出自回归检索器 ARR：它在多模态检索中交替执行“检索一个条目”和“更新查询嵌入”，把选中条目的多模态内容追加到查询历史后再编码，用最终嵌入对语料排序；训练分两阶段，先用逐步对比监督的监督微调教会编码器解读反馈，再用强化学习把反馈条目当作动作、以相关条目最终倒数排名为奖励优化选择，并通过查询侧适配器在固定条目索引上完成优化。

    Xiaohongshu (Little Red Book) (China)Beijing Academy of Science and Technology
    Jianfei Zhao（第一作者）
    自回归检索器通用多模态检索组相对策略优化监督微调Qwen3-VL
  3. arXiv

    GraphOPD 用环境状态转移依赖图重排蒸馏监督，在 ALFWorld 与 WebShop 上超过最强基线最多 +5.8 个百分点

    GraphOPD 从环境状态转移中读取步骤间的依赖关系，构建有向依赖图并用随机游走平稳分布给出每步的结构信用分，再与教师-学生散度信号融合成轨迹相对的掩码，只对每条 rollout 中适应度高于自身均值的步骤施加蒸馏监督；在 ALFWorld、WebShop、SearchQA 三个基准、三种模型规模和十一个基线上均具竞争力，相对最强基线最多提升 +5.8 个百分点。

    Hong Kong University of Science and TechnologyXiaohongshu (Little Red Book) (China)The Hong Kong University of Science and Technology (Guangzhou)
    Bohan Lin（第一作者）
    GraphOPD在线策略蒸馏信用分配大语言模型智能体组相对策略优化
  4. ACM Conference on Recommender Systems (RecSys)

    SAGE 优化器让生成式推荐在 Amazon 与 RecIF-Bench 上同时提升准确率、冷启动召回与多样性

    该工作识别出 GBPO 在生成式推荐中的“对称保守”失效模式（对称更新上界压制冷启动等稀有正信号、静态负样本约束无法阻止多样性坍缩、组归一化多目标奖励导致训练信号分辨率低），提出 SAGE 优化器，用几何平均序列级重要性比率与解耦多目标优势估计降低 token 级方差并缓解奖励坍缩，并用非对称自适应边界对成功列表施加正向 Boost、对低多样性失败施加熵感知惩罚；在 Amazon Product Reviews 三个类目与大规模 RecIF-Bench 上，采用原生文本词表的 TextRec 在 top-K 准确率、冷启动召回与多样性上均优于 OneRec-GBPO，并保持训练数值稳定。

    Xiaohongshu (Little Red Book) (China)
    Yu Xie（第一作者）
    SAGE序列级自适应梯度演化TextRec生成式推荐系统强化学习推荐系统

已读完全部报道