跳到主要内容
检索

Beijing Normal University, Zhuhai

4 篇关联报道

订阅更新
  1. arXiv

    KV缓存修复预算该花在哪：重算答案所在块，5%预算胜过按token挑选

    非前缀KV缓存复用把检索到的块各自编码再拼接，会丢掉19%到100%依赖上下文的正确回答，同类干扰块还会加重损失。研究比较了把有限修复预算花在干扰块还是答案块上：恢复全部干扰块需要接近一次完整预填充，而把预算用于重算答案块，在开放域问答与API文档的九个设置中，5%预算下均胜过按token挑选的修复方法。

    Beijing Normal UniversityBeijing Normal University, ZhuhaiBeijing Normal-Hong Kong Baptist University
    Yuxing Peng（第一作者）
    KV缓存复用上下文兼容性KV缓存修复预算分配
  2. arXiv

    网页链接不再一律拉向邻居：ZeroPolar用无标签极性判断，GPT-4o标注下十一图均值73.99%

    网页平台在新页面还没有人工标签时就要分类，大语言模型逐页给出的标签有噪声，而链接在不同站点含义相反：购物站常连同类别商品，高校站点多连不同类别页面。ZeroPolar把链接进入预测的符号称为结构极性，用大语言模型标签与文本原型预测沿边的超额一致度在无真实标签下读出该符号，再执行一步带符号传播。每页一个GPT-4o标签时，ZeroPolar-T在十一个图上取得最高均值73.99%，比LLM-BP高6.01个百分点。

    Beijing Normal UniversityNanyang Technological UniversityBeijing Normal University, Zhuhai
    Hanshuai Cui（第一作者）
    ZeroPolar极性传播方法结构极性零样本节点分类文本属性图
  3. arXiv

    图像编辑智能体重试不再盲选模型：RetryRoute按失败历史规划，主预算下成功率平均高出最强基线2.8个百分点

    网页智能体在“评审—重试”循环里调用开放图像编辑模型，而一次失败后的重试成功率只有首次尝试的17%–53%，现有路由器却把重试当作独立抽样。RetryRoute按请求的失败历史估计每个模型下一次尝试的成功概率，在失败状态上规划重试、升级与放弃，并把实时排队等待计入成本。在八个评测组的主预算下，其循环内评审成功率平均高出十一个先前基线中最强者2.8个百分点；在三卡GPU服务测试台上，同一套设置使满足服务目标的编辑比例在每个负载下高出最佳先前基线5.0–6.3个百分点。

    Beijing Normal UniversityNanyang Technological UniversityBeijing Normal University, Zhuhai
    Hanshuai Cui（第一作者）
    RetryRoute 重试感知路由器智能体图像编辑模型路由马尔可夫决策过程
  4. arXiv

    注意力线性化不再一视同仁：少数离群维度单独分组，Qwen2.5-0.5B困惑度从31.71降到27.50

    预训练注意力的近似误差集中在少数高贡献的查询—键维度上，按贡献分组共享系数的二次核在Qwen2.5-0.5B上把冻结注意力相对MSE降到0.432，并在替换中间层注意力后把WikiText-103困惑度从31.71降到27.50。

    National University of SingaporeBeijing Normal University, Zhuhai
    Weiqi Sun（第一作者）
    离群感知注意力线性化线性注意力Softmax注意力线性化二次核注意力语言建模

已读完全部报道