跳到主要内容
检索

Rutgers, The State University of New Jersey

10 篇关联报道

订阅更新
  1. arXiv

    SinkState 把循环状态存成自适应低秩:混合模型解码峰值内存最多降到基线的 1/2.6

    混合语言模型把历史压进固定大小的循环状态,但现有服务系统仍把状态当稠密矩阵,每一步解码都整块读写,显存与带宽开销随批大小增长。SinkState 利用线性注意力中查询、键、值集中于稳定低维子空间这一现象,在解码全程把每个状态保存为自适应低秩分解,用局部 SVD 合并新 token,并在 CPU 上异步整理冻结部分。在四个 Mamba-2 与 GDN 混合模型(4B 到 120B)上,循环状态峰值内存降到基线的 0.38–0.63,解码最多加速 1.58 倍,准确率保持不变。

  2. bioRxiv

    蛋白语言模型内部藏着一张“水母”图:疏水比例定主轴,七肽相位绕成环

    ESM2 的残基嵌入里,极性/非极性二元模式被组织成可读的几何结构。把全部 128 种七肽二元模式各生成 50 条序列、共 6400 条一起做保留位置的 PCA,前三个主成分构成“水母”形流形:疏水比例沿 PC1 展开,PC2 与 PC3 以近似正弦、余弦的方式编码七肽相位。换成电荷字母表仍有序,打乱氨基酸分组或改用非蛋白模型 ByT5 后这种环状组织消失。

  3. arXiv

    多智能体系统不再一套流程打天下:OOPMAS按单条查询生成智能体与工作流,混合任务准确率89.6%

    多智能体系统的自动设计此前多在任务层面进行,为整个基准优化一套固定工作流并统一套用到所有查询。OOPMAS把设计粒度降到单条查询:冻结的大模型作为元智能体,先按查询生成带角色、工具和持久状态的对象式智能体,再生成可执行的主函数工作流,并用动态技能库从执行反馈中积累结构化经验、无需梯度更新。在混合代码、数学与问答的基准上,OOPMAS取得89.6%总体准确率,比最强基线ADAS高18.1个百分点。

  4. arXiv

    故事生成不再只求通顺:先预测读者悬念与幽默走向,轨迹贴合度提升12%–35%且连贯性大体保留

    大语言模型写故事常被指缺少起伏,读者体验难以随情节自然变化。一种新框架先从高质量人类故事中学习悬念或幽默这类读者反应的演变轨迹,再用一个小模型预测下一段应达到的读者反应,并以此引导现成写作模型逐段续写。在悬念与幽默两个领域、GPT-5.5与Qwen3.5-27B两个写作模型上,生成故事对人工故事读者轨迹的贴合度提升12%–35%,同时大体保持故事连贯性。

  5. arXiv

    CPU向量加宽撞上L1容量墙:把私有L2改成软件管理的暂存区,2048位下GEMM提速1.44倍

    CPU把SIMD向量从512位加宽到2048位时,算力上去了,但L1数据缓存容量没变,数据反复在L1与L2之间搬运,吞吐反而被拖住。CacheFlex用一条轻量ISA扩展把私有L2的一部分路在运行时转成线程私有的暂存内存,让软件直接按槽位读写,绕开地址翻译、组相联标签查找和一致性探测。在gem5上以Armv8-A SVE建模,GEMM核在VL=16时几何平均提速1.44倍、内存子系统能耗降40%;结合FlashAttention的整层推理最高提速1.78倍、能耗降45%,相对L2的面积开销为2.02%。

  6. 同一个词的两个意思,模型在预训练早期就分开了:14M里两个注意力头扛下大部分工作,410M换成一群更稳的头

    在Pythia语言模型的预训练过程中,词义消歧能力在约1000到2000步出现明显跃升,14M中两个第3层注意力头与这一跃升同步变化,消融它们会显著削弱消歧表现,而410M中承担该功能的头更多、对位置和词性扰动更稳健。

  7. arXiv

    CLIMB以置信度引导的互补证据池改进多模态RAG,在Encyclopedic-VQA与InfoSeek上稳定超越检索增强基线

    作者提出免训练、推理期的多模态RAG框架CLIMB:先用MMR式目标构建兼顾查询相关性与段落冗余度的紧凑互补证据池,再用R/E/C评论器按相关性、证据特异性与跨模态对齐打分,并由证据接地的置信度估计器仅在置信度上升时接受更新答案,从而提供简单停止准则;在Encyclopedic-VQA与InfoSeek上一致优于检索增强的多模态基线,消融显示互补池、评论器打分与迭代置信控制细化各有贡献。

  8. arXiv

    自演化搜索智能体出现“共同作弊”:内部奖励上升而真实正确率停滞,CrossFit 把假一致率从 6.1%/8.8% 降到 3.0%/3.7%

    该工作诊断了自演化搜索智能体中的“共同作弊”失效模式——出题者(proposer)与解题者(solver)在共享错误上越来越一致,使内部奖励上升而外部正确率停滞,并提出多样本验证(MSV)与主方法 CrossFit(按来源文档分折、用互补折训练的辅助解题者给提案打分),在 Qwen3.5-4B/9B 上把假一致质量从 6.1%/8.8% 降至 3.0%/3.7%,在七个下游搜索基准上平均 Cover-EM 相比标准耦合自演化提升 8.8/8.4 个百分点。

  9. arXiv

    RIDE 把 RL 教师的隐藏状态残差外推,在四个基座/教师对上均值追平或超过教师

    该工作提出 RIDE(RL-Induced Direction Extrapolation):在学生自采样轨迹上,逐层计算 RL 教师与其 RL 前检查点之间的隐藏状态残差,把学生的表示回归目标沿该残差外推到教师之外,在四个基座/RL 教师对(R1-Distill-1.5B、Qwen3-4B、Llama-3.2-3B、Phi-4-mini)上于 AIME24、AIME25、AIMO 的 Avg@16 均值均接近或超过 RL 教师,是唯一均值做到这一点的对比方法,并一致优于输出空间外推。

  10. Surgical Infections

    预防手术部位感染:全球健康议程中的伦理与操作要务

    本文综述了手术部位感染(SSI)预防的证据与实施经验,涵盖感染预防与控制(IPC)、抗菌药物管理(AMS)、抗菌药物耐药(AMR)、质量改进、监测、安全文化、人为因素与新兴技术,指出多模式、因地制宜的IPC干预可在无需大量资本投入的情况下显著降低SSI发生率,同时基础设施、指南落实、监测与环境控制方面仍存在持续缺口,AMR进一步凸显将AMS纳入外科安全框架的必要性,而人工智能与客观诊断技术可能改善监测与SSI早期识别,因此SSI预防既是临床必需也是伦理要务,全球外科策略应整合上述要素以推进全球外科照护的公平、质量与安全。

已读完全部报道