跳到主要内容
检索

Huawei Technologies (China)

11 篇关联报道

订阅更新
  1. arXiv

    RWKV长程预测会衰减:交替插入注意力块,36M参数在GIFT长程追平1B模型

    HART把Transformer块与RWKV块交替堆叠,让预测区直接检索历史,在GIFT-Eval与TIME-Benchmark的中长程上优于纯RWKV,并以36M参数在GIFT长程取得与Toto-2.0-1B相当的MASE。

  2. arXiv

    智能体工作流不再每次重造:先攒一个工作流池,再用上下文老虎机按题挑

    智能体工作流的选择被改写成上下文老虎机问题:在五个基准上平均分达到81.37%,MATH上训练阶段token开销至少降低40.55%。

  3. arXiv

    WebLoop 用执行反馈训练无执行 Critic,9B 模型在 WebRise 达 41.5、WebGen-Bench 达 38.9%

    WebLoop 把功能型网页生成中的生成、批评与修复三个角色放在同一策略下联合优化:Generator 与 Refiner 的输出由浏览器执行给出直接奖励,而 Critic 不接触执行结果,仅凭任务需求与源码做需求级判断,其训练信号来自需求级执行标签(判别力)与后续修复带来的执行提升(有用性),并采用先建立诊断、再引入后果感知信用的分阶段奖励。用 Qwen3.5-9B 时,WebLoop 在 WebRise 上 Overall 达 41.5、在 WebGen-Bench 上准确率达 38.9%,分别比基座模型提升 11.3 与 15.4 分。

  4. arXiv

    LiteTrajEval 以预算受限的规则画像与单一评分式 LLM 评审,将智能体轨迹失败定位与人工标注的对齐度提升约 20–35 个百分点,同时把成本降低约 6 倍、评估时间缩短 8 倍以上

    该工作提出 LiteTrajEval,一种预算受限的轻量轨迹评估架构:离线导出紧凑的领域专用规则画像,在线对每条轨迹做预处理、标记启发式失败信号、在固定全局预算下序列化,并调用单一评分式 LLM 评审生成结构化诊断报告;在公开的 Magentic-One 风格与 τ-bench 风格轨迹数据集上,相比 AgentRx,其失败定位与人工标注的对齐度在 Magentic-One 上提升约 20–35 个百分点、在 τ-retail 上最高提升 23 个百分点,同时成本降低约 6 倍、评估时间缩短 8 倍以上,并已部署于其企业智能体平台。

  5. arXiv

    DAGO 用上下文老虎机选择多父代工作流融合,在六个基准上把宏平均分从 80.3 提升到 81.7 并降低 11.2% 搜索开销

    DAGO 把每个父代工作流组合建模为老虎机的一个臂,用代码与提示的预训练嵌入表示该臂,以对角 LinUCB 在预测子代质量与不确定性探索之间权衡,由 LLM 经摘要引导融合生成子代并以子代验证分作为奖励,在数学推理、代码生成与问答六个基准上取得所评估基线中最高的宏平均分,并在与 AFlow 相同的验证评估预算下把宏平均分从 80.3 提升到 81.7、把总搜索开销降低 11.2%。

  6. arXiv

    CIPO用反事实分支训练LLM智能体在原子工具与复合技能间自适应选择粒度,在三个基准和两个骨干上同时提升成功率与决策压缩

    该工作提出CIPO框架:先用预算约束的BPE式挖掘从成功工具轨迹中抽取可执行复合技能,再在GRPO中对每条基础轨迹于首个可替换的粒度决策点构造反事实分支,用配对结果差作为有界补充奖励;在TOOLATHLON、TOUCAN、TRAJECT-Bench三个基准与Qwen2.5-7B、Llama3.1-8B两个骨干上,CIPO在全部六个设置取得最高Tool F1与TSR,平均Comp./Raw为0.845,优于GRPO+Skills的0.912,且提升并非来自单纯增加技能调用频率。

  7. arXiv

    OG-OPSD 用结果正确性选择 KL 方向并按熵截断前缀,在 Qwen3 1.7B/4B/8B 上把数学推理平均分提升至 44.4/64.9/66.4

    该工作从 RLVR 的优势视角分析在线自蒸馏(OPSD),发现固定散度目标对错误轨迹惩罚不足、奖励过度,且教师监督可靠性随轨迹结果与累积平均教师熵变化,于是提出 OG-OPSD:对正确轨迹全程用前向 KL、对错误轨迹仅在由累积平均教师熵最后一次交叉点确定的前缀内用反向 KL;在 Qwen3-1.7B/4B/8B 与 Qwen3-VL-2B 上,该方法在数学推理、多模态推理与分布外任务中一致优于 vanilla OPSD 与多个强基线。

  8. arXiv

    TTCL 在无标签目标数据上同时提升大模型推理准确率与置信度校准,基座模型平均相对准确率提升 40.13%、ECE 降低 70.80%

    该工作提出免标签的测试时校准学习框架 TTCL,从多个模型自生成回答中导出正确性与校准的自监督信号,在无真值标签的目标任务数据上联合适配推理准确率与言语化置信度,并在数学推理与事实问答上报告了准确率与校准的同步改善。

  9. arXiv

    Draft-KV 让接收方真正用上共享方草稿的 KV 状态:MMLU-Redux 上 0.5B 接收方从 37.45% 升到 78.04%,换成无关问题的消息则回落到 36.40%

    该工作先审计了已有潜在通信接口:在五个方法-数据集组合中,把消息换成来自无关问题的消息,准确率变化最多 0.60 个百分点,即使通信本身比单独接收方高出 15.44 个百分点,说明增益可能来自接口适配而非消息内容;随后提出 Draft-KV,把共享方起草答案时形成的键值状态经线性投影放入侧记忆、由带门控的注意力分支读取,并以渐进式训练从消息重建过渡到答案监督、同时用单侧护栏限制错配消息的伤害,两个模型保持冻结、接口仅训练 1.05M 参数(比 C2C 少 348 倍);在 Qwen3-8B 共享方与冻结的 Qwen2.5-0.5B-Instruct 接收方组合下,MMLU-Redux 达到 78.04%,单独接收方为 37.45

  10. arXiv

    Top-Theta Attention:用补偿式阈值化稀疏化 Transformer 注意力

    该工作提出 Top-Theta(Top-j)注意力,一种免训练、在推理阶段用按注意力头校准的静态阈值替代 top-k 搜索来稀疏化注意力元素的方法,并引入 softmax 分母补偿(SDC)与 V 均值补偿(VMC)以维持精度,在 LLaMA2/LLaMA3 的问答、代码生成与长文本摘要任务上实现 3–10 倍 V-cache 行数减少、最多 10 倍注意力元素减少,精度下降不超过 1%。