跳到主要内容
检索

IBM (United States)

14 篇关联报道

订阅更新
  1. bioRxiv

    Neuralign把跨会话神经记录放进同一个张量分解:共享时间曲线,试次与神经元权重各会话自估

    Neuralign把来自不同会话、不同动物、神经元采样各不相同的神经记录放进同一个张量分解,每个成分共享一条时间曲线,而试次强度和神经元权重按会话各自估计,因此不需要匹配同一批神经元或同一批试次。在19只小鼠的93段全脑记录上,无监督拟合得到的单个成分把前外侧运动皮层(ALM)光遗传抑制的三种条件区分开,留出会话上的平衡准确率为0.647,随机水平为1/3。该成分的变化与行为准确率下降呈弱相关(ρ=0.266,180个会话—抑制观测)。

  2. arXiv

    同一个8B模型不再套固定推理模板:AlgoPilot先选范式再写形式化,平均准确率从38.4%升到72.9%

    AlgoPilot把语言模型的解题过程拆成三步:先判断该用自然语言推理、代码执行、约束求解、符号规划还是数学优化,再按所选范式生成结构化的问题形式化,最后交给执行模型求解。以Qwen3-8B为执行模型时,同一模型在13个基准、66个领域上的平均准确率从直接提示的38.4%升到72.9%,比表现最好的大模型提示基线GLM-5高11.7个百分点;换用Gemma-4-E4B-it作执行模型时,平均成功率从直接提示的39.0%升到60.5%。

  3. arXiv

    不用GPU也能预演大模型服务:BLIS在CPU上跑完整流水线,4卡就守住300毫秒首字延迟

    BLIS是一个纯CPU的确定性离散事件模拟器,把准入、路由、调度、预填充/解码执行、KV缓存管理和抢占整条大模型推理服务流水线一起模拟,在36组实验上端到端延迟中位误差6.7%,比真实执行快约200倍。

  4. arXiv

    同一条语义查询重跑会换答案:温度0下最多24%的行改变输出,计划把变化放大到多数结果

    在温度0下重跑语义查询,0.07%到10.2%的行会改变算子输出,单个任务最高24.0%,而计划会把这种变化放大到多数答案上。

  5. arXiv

    Universal Attention 用复合衰减门实现超 10 倍 KV-cache 压缩,并在 RULER 上超过未剪枝 Llama3

    该工作提出 Universal Attention,把查询感知、键感知与相似度三类衰减机制以几何平均组合成注意力矩阵的加性偏置,在保留 RoPE 与 Softmax 的前提下让模型自适应剪枝 KV-cache;在 1B、50B token 训练的 Llama3 架构上实现超过 10 倍压缩,RULER 平均分 50.3/49.3 高于未剪枝 Llama3 的 40.8,缓存仅 21.4/12.9 MB。

  6. arXiv

    GraphMemory 用图结构记忆替代上下文堆叠,在保持下游性能的同时减少约 81-85% 的记忆构建 token

    该工作提出上下文优化的统一表述,将智能体记忆系统更新解释为对模型上下文的优化更新过程,并据此设计轻量图结构记忆 GraphMemory:它累积、精炼、组织并连接可复用策略,每次查询只检索相关子图,在有界检索下检索到的记忆量随处理样本数增长保持恒定,实验显示其下游性能具有竞争力,同时比基线少用约 81-85% 的记忆构建 token。

  7. arXiv

    FluidPD 在 SGLang 上实现原地 P/D 弹性:Azure 轨迹上 SLO 达成率最高提升 94.6 个百分点,且不增加 GPU

    作者提出 FluidPD,一个在 SGLang 上实现的预填充-解码(P/D)分离式 LLM 服务系统,通过 FluidToken 将部分预填充后缀卸载到有空闲的解码 worker、并通过 FluidRole 在不重载模型的前提下原地切换 worker 角色,在 Azure 轨迹构造的 staged 与 mixed 负载上,相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点,相比 Dynamo 自动扩缩容最高提升 88.3 个百分点且使用更少 GPU。

  8. arXiv

    SHarP 用单模块消融的显著性剪枝智能体 harness:四个 harness 在性能相当下至少降低 10% token 成本,OpenHands 在 GAIA 上从 29.44% 升至 35.00%

    该工作提出 SHarP,把智能体 harness 中的工具、指令与支撑机制视为可单独禁用的模块,用单模块消融估计每个模块对任务性能与 token 成本的显著性,再按效率导向或性能导向规则剪枝;在 OpenHands/GAIA、PaperQA2/LitQA2、LIFE-harness 的 airline 与 retail、JIT agentfold/DeepPlanning-Shopping 五个设置上,剪枝后多数配置保持相近性能,四个 harness 均实现至少 10% 的 token 成本下降,其中两个在降本同时提升任务表现。

  9. arXiv

    SWIFT 将水印构建与 vLLM 推理引擎共服务,在文本生成上取得 4.87 效用分与 99.65% 检测准确率,延迟 0.905 秒

    作者提出 SWIFT,一个把文本生成与水印构建放在同一 vLLM 后端、同一 LLM、同一 GPU 上异步共服务的框架:它用指令引导的候选生成与实体保护产生上下文感知替换,用基于密钥的 Tournament 选择嵌入水印,并用自适应调度器按队列长度与等待时间压力动态调整水印请求准入;在 C4 文本生成上取得最高效用分 4.87、99.65% 检测准确率与 0.905 秒延迟,在替换攻击下保持 97.7% 检测率,在 GSM8K 与 MedMCQA 上不降低任务准确率,并达到 528.7 tokens/s 吞吐与 96.8% 前缀缓存命中率。

  10. arXiv

    MaskCoFT 用可学习掩码联合微调路由器与专家,使 Mixtral-8x7B 每 token 专家取数减少 23.7%、DeepSeek-V2-Lite 减少 10.1%

    该工作提出 MaskCoFT,一种仅用交叉熵损失同时训练路由器与专家的掩码协同自适应微调方法:微调时用可学习二值掩码把每层 Top-K 路由限制到专家子集,使专家适应被重定向的 token,推理时该掩码作为软先验对专家重排序且所有专家仍可被选中;在模拟每层 4 个专家缓存的 Mixtral-8x7B 与 12 个的 DeepSeek-V2-Lite 上,每 token 专家取数相对基座模型分别减少 23.7% 与 10.1%,真实卸载系统服务中每输出 token 时间最多降低 16.4% 与 5.5%,九个基准上的平均准确率分别高出基座模型 0.92 与 0.53 分。