跳到主要内容
检索

# 自适应计算

6 篇关联报道

订阅更新
  1. arXiv

    只在有信号处算:Conformal Adaptation 用共形风险控制认证稀疏计算,脑肿瘤分割保持相近 Dice

    医学与天文成像数据比自然图像大几个数量级,而肿瘤、星系等目标只占极小区域,量化、剪枝这类均匀压缩会同时压低这些关键区域的精度。Conformal Adaptation 先用低分辨率模型筛出候选区域,再用共形风险控制校准阈值,使被丢弃区域携带的真实信号质量在期望上不超过用户设定的比例,随后只对选中区域做稀疏细化。在脑肿瘤分割、头颈癌分割、钙成像脉冲率推断和星系通量场超分辨等任务上,该流程在保持相近精度的同时减少计算量,其中 VISTA3D 在纯 CPU 推理下取得最高 82.10 倍的浮点运算加速。

  2. arXiv

    重叠语音里挑出目标说话人:5.2M前端按难度分配算力,识别错词率从16.8%降到14.6%

    多语言重叠语音的目标说话人提取不再对每个输入用同一套计算深度。此前固定深度前端要么对困难输入处理不足,要么在已收敛的输入上重复精修。LATTE 用难度估计器为每个混合语音选择两、四或六块共享提取块,在 PolyExtract 八语言基准上以 0.30 GFLOPs 取得 15.07 dB 宏平均 SI-SNRi,比 0.53 GFLOPs 的固定深度路径低 0.09 dB 以内,计算量减少 43.4%;接在冻结的 Qwen3-Omni 前,平均词错率从 TF-GridNet 的 16.8% 降到 14.6%。

  3. arXiv

    低秩压缩不再每token同算力:只训路由器,Llama-2-7B下游平均准确率涨7.6个百分点

    低秩压缩此前在推理时给每个token分配固定秩,算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器,在若干嵌套低秩路径中为每个token选一条,训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下,Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点;在batch-size-1解码延迟对齐时,Llama-3.2-1B的困惑度和下游准确率同时改善,Llama-2-7B保持竞争力,且未使用专用CUDA内核。

  4. arXiv

    轨迹特征未能提升末层注意力路由:六项预注册比较在 SmolLM3 与 Qwen3.5 上均无正向增益

    该研究在冻结的 SmolLM3-3B-Base 与 Qwen3.5-4B-Base 上,用成对的末层注意力启用/旁路执行产生带符号的下一词损失差,检验隐藏态外推误差、曲率和误差变化能否在不确定性、一步位移、位置与状态投影之外改进注意力路由;在 PG-19 的 100 本留出书籍、固定 20% 因果调用配额下,六项预注册比较经 Holm 校正后均无正向增益,Qwen3.5 中参数匹配的固定投影对照反而比轨迹路由器降低 NLL 0.00356 nats/token。

  5. arXiv

    BranchIP 用学习式自适应张量积计算,在异相催化与质子传导固体酸电解质两类体系上把等变 MLIP 加速至多 2.4 倍、显存降低至多 2.6 倍,同时保持物理保真度

    作者提出 BranchIP(Branch Interatomic Potential),一个用新型蒸馏损失训练的单一模型框架,用于学习自适应的张量积计算;在异相催化体系与质子传导固体酸电解质两类物理体系实验中,它跨模型规模把等变机器学习原子间势加速至多 2.4 倍、显存降低至多 2.6 倍,同时保持物理保真度,并借由学习到的自适应计算揭示哪些相互作用需要更深计算、计算深度如何与化学复杂度和动力学相关。

  6. arXiv

    VALSE 提出逐样本非连续跳层框架并证明 MoE 对偶,但原型路由坍缩致核心假设未获验证

    该工作提出 VALSE——一种逐样本、非连续的 Transformer 层跳过方法,用轻量难度估计器从前几层为每个输入打分并驱动逐层门控,同时给出期望 FLOPs 闭式公式、跳层模型函数空间严格包含于全层模型、以及与 MoE 的结构对偶三项理论结果;原型规模(12 层、SST-2)评估中所有样本被路由到最少层数,难度与激活层数的 Pearson 相关系数为负,核心的难度自适应路由假设未获验证。

已读完全部报道