跳到主要内容
检索

Shenzhen University of Advanced Technology

8 篇关联报道

订阅更新
  1. arXiv

    动作生成不再按块拼接:ODEAction 用常微分方程连续演化动作,EBench 平均成功率相对提升 61.8%

    视觉-语言-动作模型通常一次预测一整段未来动作,相邻动作块之间缺少显式的时间一致性约束,容易在衔接处出现动作突变。ODEAction 把动作生成改写为从当前动作出发的连续演化:学习一个动作转移场,用常微分方程积分逐步生成后续动作,不再联合预测固定长度的动作块。在 LIBERO 上平均成功率由 96.85% 升到 98.25%,在 EBench 上由 15.28% 升到 24.72%,即 61.8% 的相对提升;在 RoboTwin 五个任务上与 RTC、Legato 对比,平均成功率 84.4%,高于基线的 82.4%。

  2. arXiv

    专利审查有了可训练智能体的试验场:4B模型在现有技术检索上与更大通用智能体表现相当

    专利审查要求智能体在稀疏的现有技术中反复检索、核对证据并写出新颖性判断,而既有基准多停留在静态候选集上。PatEx-Gym把这一流程做成可运行的环境:PatEx-Bench提供1K个审查任务、超过100万件专利与5.2万篇科学论文的检索语料,以及支持迭代检索与审查意见生成的运行时。PASS利用文档访问记录作为隐式相关性信号合成搜索轨迹,据此微调的4B模型PatEx-Agent在实验中与规模大得多的通用智能体相比取得有竞争力的表现。

  3. arXiv

    网页代理看截图太贵:只留21%视觉词,延迟降三成、性能保住近八成

    网页图形界面代理靠截图定位按钮和链接,高分辨率截图与多轮历史会带来大量视觉词,推理开销随之上升。STP-GUI 把词选择改成查询引导、空间连贯的窗口级选择,用一个轻量选择器在主干模型冻结的情况下通过策略学习训练。在 Online-Mind2Web 上,保留21%的词时仍保住全量词性能的77.7%,推理延迟降低31%、FLOPs 降低57%;Android in the Wild 上的结果提示该方法可迁移到移动端界面。

  4. arXiv

    循环推理不再只留最新状态:注意力残差让7M小模型在近2.5万层仍保持解

    循环Transformer在测试时反复执行同一共享块来加深推理,但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合:共享伪查询给每个候选打分,学习到的指数衰减压低旧输出权重,聚合结果以精确流式递推实现,每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上,7M参数模型达到97.9%精确准确率,超过FPRM的94.2%;在1,872层时达到90.9%,而FPRM要到3,744层才有90.1%。

  5. arXiv

    iS-KV用块增量SVD在线压缩KV缓存,在DeepSeek-R1-Distill-Llama-8B上以4.06倍压缩保留82.6%准确率

    该工作提出iS-KV,一种面向长程推理的在线低秩KV缓存压缩方法:它保留最近窗口为精确表示,将较早状态增量折叠为有界秩表示,并在低秩基演化时同步历史坐标以维持表示一致性;在DeepSeek-R1-Distill-Llama-8B上以4.06倍持久KV压缩达到82.6%准确率(原模型83.6%),在Qwen3-8B上以5.64倍压缩达到89.2%准确率,并在匹配内存预算下持续优于token驱逐基线。

  6. arXiv

    Nereus 让 RL 后训练在运行中自适应并行:真实数据轨迹上平均步延迟降 27.7%,8B PPO 吞吐最高达 OpenRLHF 的 7.27 倍

    Nereus 是一个面向大语言模型强化学习后训练的成本感知运行时,它把每个模型-阶段副本抽象为 Elastic Model Unit,用全局转移图编排 Split、Merge、Extend、Destroy 四种原语,在运行中按“收益能否偿还转移成本”的准则在线调整 DP/TP/PP 执行计划;在真实数据构建的轨迹上,在线 TP/PP 自适应相对初始固定 TP/PP 布局把平均步延迟降低 27.7%,1,000 步扩展到 1,024 GPU 的运行中六次转移仅占总运行时间的 0.079%,8B PPO 端到端吞吐相对 OpenRLHF 提升 2.14–7.27 倍、相对 Verl 提升 1.10–1.47 倍。

  7. arXiv

    让稀疏系数自己学会压缩:信息瓶颈视角下的训练自适应卷积稀疏编码

    该工作把卷积稀疏编码中的稀疏系数从人工设定的固定超参数改为可微、可与网络参数联合学习的变量,用FISTA展开迭代实现其梯度回传,并在信息瓶颈框架下解释该系数对“压缩—保留”权衡的控制作用,在CIFAR-10/100与ImageNet-1K上取得有竞争力的干净数据识别精度,并在多种输入扰动下显著提升鲁棒性,同时提出一种仅用少量无标签受损样本、冻结主干参数、只调整压缩强度的后训练自适应策略。

  8. arXiv

    多模态大模型的幻觉源自“协同头”内部信息分布漂移

    该工作提出 HEAL,通过对多头注意力输出施加因果噪声干预并用反事实双重差分把注意力头分为冗余、视觉、语言与协同四类,发现幻觉发生在协同头内部视觉—语言信息分布偏离健康均衡之时,而非与模态专属头的数量或强度强相关,并据此在推理时向协同头的 value 向量注入动态校准因子,在多个 MLLM 与多个基准上降低了幻觉。

已读完全部报道