RWKV长程预测会衰减:交替插入注意力块,36M参数在GIFT长程追平1B模型
HART把Transformer块与RWKV块交替堆叠,让预测区直接检索历史,在GIFT-Eval与TIME-Benchmark的中长程上优于纯RWKV,并以36M参数在GIFT长程取得与Toto-2.0-1B相当的MASE。
HART把Transformer块与RWKV块交替堆叠,让预测区直接检索历史,在GIFT-Eval与TIME-Benchmark的中长程上优于纯RWKV,并以36M参数在GIFT长程取得与Toto-2.0-1B相当的MASE。
智能体工作流的选择被改写成上下文老虎机问题:在五个基准上平均分达到81.37%,MATH上训练阶段token开销至少降低40.55%。
WebLoop 把功能型网页生成中的生成、批评与修复三个角色放在同一策略下联合优化:Generator 与 Refiner 的输出由浏览器执行给出直接奖励,而 Critic 不接触执行结果,仅凭任务需求与源码做需求级判断,其训练信号来自需求级执行标签(判别力)与后续修复带来的执行提升(有用性),并采用先建立诊断、再引入后果感知信用的分阶段奖励。用 Qwen3.5-9B 时,WebLoop 在 WebRise 上 Overall 达 41.5、在 WebGen-Bench 上准确率达 38.9%,分别比基座模型提升 11.3 与 15.4 分。
该工作提出 LiteTrajEval,一种预算受限的轻量轨迹评估架构:离线导出紧凑的领域专用规则画像,在线对每条轨迹做预处理、标记启发式失败信号、在固定全局预算下序列化,并调用单一评分式 LLM 评审生成结构化诊断报告;在公开的 Magentic-One 风格与 τ-bench 风格轨迹数据集上,相比 AgentRx,其失败定位与人工标注的对齐度在 Magentic-One 上提升约 20–35 个百分点、在 τ-retail 上最高提升 23 个百分点,同时成本降低约 6 倍、评估时间缩短 8 倍以上,并已部署于其企业智能体平台。
DAGO 把每个父代工作流组合建模为老虎机的一个臂,用代码与提示的预训练嵌入表示该臂,以对角 LinUCB 在预测子代质量与不确定性探索之间权衡,由 LLM 经摘要引导融合生成子代并以子代验证分作为奖励,在数学推理、代码生成与问答六个基准上取得所评估基线中最高的宏平均分,并在与 AFlow 相同的验证评估预算下把宏平均分从 80.3 提升到 81.7、把总搜索开销降低 11.2%。
该工作提出CIPO框架:先用预算约束的BPE式挖掘从成功工具轨迹中抽取可执行复合技能,再在GRPO中对每条基础轨迹于首个可替换的粒度决策点构造反事实分支,用配对结果差作为有界补充奖励;在TOOLATHLON、TOUCAN、TRAJECT-Bench三个基准与Qwen2.5-7B、Llama3.1-8B两个骨干上,CIPO在全部六个设置取得最高Tool F1与TSR,平均Comp./Raw为0.845,优于GRPO+Skills的0.912,且提升并非来自单纯增加技能调用频率。
该工作从 RLVR 的优势视角分析在线自蒸馏(OPSD),发现固定散度目标对错误轨迹惩罚不足、奖励过度,且教师监督可靠性随轨迹结果与累积平均教师熵变化,于是提出 OG-OPSD:对正确轨迹全程用前向 KL、对错误轨迹仅在由累积平均教师熵最后一次交叉点确定的前缀内用反向 KL;在 Qwen3-1.7B/4B/8B 与 Qwen3-VL-2B 上,该方法在数学推理、多模态推理与分布外任务中一致优于 vanilla OPSD 与多个强基线。
该工作提出免标签的测试时校准学习框架 TTCL,从多个模型自生成回答中导出正确性与校准的自监督信号,在无真值标签的目标任务数据上联合适配推理准确率与言语化置信度,并在数学推理与事实问答上报告了准确率与校准的同步改善。
该工作先审计了已有潜在通信接口:在五个方法-数据集组合中,把消息换成来自无关问题的消息,准确率变化最多 0.60 个百分点,即使通信本身比单独接收方高出 15.44 个百分点,说明增益可能来自接口适配而非消息内容;随后提出 Draft-KV,把共享方起草答案时形成的键值状态经线性投影放入侧记忆、由带门控的注意力分支读取,并以渐进式训练从消息重建过渡到答案监督、同时用单侧护栏限制错配消息的伤害,两个模型保持冻结、接口仅训练 1.05M 参数(比 C2C 少 348 倍);在 Qwen3-8B 共享方与冻结的 Qwen2.5-0.5B-Instruct 接收方组合下,MMLU-Redux 达到 78.04%,单独接收方为 37.45
该工作提出 Top-Theta(Top-j)注意力,一种免训练、在推理阶段用按注意力头校准的静态阈值替代 top-k 搜索来稀疏化注意力元素的方法,并引入 softmax 分母补偿(SDC)与 V 均值补偿(VMC)以维持精度,在 LLaMA2/LLaMA3 的问答、代码生成与长文本摘要任务上实现 3–10 倍 V-cache 行数减少、最多 10 倍注意力元素减少,精度下降不超过 1%。