跳到主要内容
检索

National Taiwan University

7 篇关联报道

订阅更新
  1. arXiv

    Cepheid 把残差结构与物理尺度拆开:未见过的布料和腿式机体上,补全误差比调和延拓低 15.6% 与 10.1%

    稀疏顶点位移补全稠密网格运动时,在单一几何族上训练的残差先验常常打不过无需学习的调和延拓,因为残差幅度随几何族和观测密度变化超过一个数量级,而测试时目标运动未知、无法直接测量。Cepheid 只学习无量纲的残差结构,再用可观测量加一个在训练源上拟合的轻量修正恢复物理幅度。统一模型在全部五个评估族上低于调和延拓,未见过的布料片和程序生成的腿式机体分别降低 15.6% 和 10.1% 误差,且无需骨架、配准或跨网格对应。

  2. bioRxiv

    JuloVelo先给基因定动力学类型再训网络:海马神经发生五条分化支路全部理清

    JuloVelo把基因动力学模式识别放在神经网络训练之前:先按未剪接与已剪接RNA的关系把每个基因判为Circle、完全诱导或完全抑制,再用对应模式的预训练权重初始化,避免细胞特异动力学优化收敛到生物学上不合理的参数区间。在覆盖红系生成、神经发生与内分泌发生的八个生物数据集以及带已知动力学的模拟数据上,它比常速率模型和细胞特异模型更稳定,是唯一理清海马神经发生全部五条分化支路的方法,并借助启动子染色质可及性处理多组学数据。

  3. aclanthology.org

    自回归训练不再只按从左到右预测:Max(MI(S;t))按互信息重排目标,算术平均准确率94.96%

    自回归语言模型通常按固定的从左到右顺序做下一词预测,Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序,把信息量大的目标提前。在GPT式模型上,它在算术任务的平均准确率为94.96%,高于下一词预测的74.84%和逆序的86.29%,接近穷举24种顺序得到的97.33%上界;在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式,模型结构与自回归解码不变。

  4. arXiv

    BLS 在测试时精炼任务向量,使零样本策略在 OGBench、DMC 与 HumEnv 上超越 OLS 与在线自适应基线

    作者提出 BLS:一种面向行为基础模型(BFM)的离线零样本任务推断方法,它先用最小二乘(OLS)得到任务向量,再用软间隔对比损失与信赖域损失联合优化该向量,以同时降低奖励重建误差与后继测度偏差;理论上给出由后继测度残差与奖励残差共同刻画的次优性上界,实验在 OGBench 的 5 种特征表示(本体感知与像素观测)、DMC 的 20 个任务与 HumEnv 的 45 个人形控制任务上平均优于 OLS、ZOL、ReLA 与 LoLA,且推理开销可忽略。

  5. arXiv

    TopK-Guided 用有界 token 级稀疏与敏感度感知的块级预算分配,在 Llama-2 与 Llama-3 上同时改善困惑度与下游准确率

    TopK-Guided 是一种免训练激活稀疏方法,把有界的 token 级稀疏自适应与敏感度感知的块级预算分配结合起来,在 Llama-2 和 Llama-3 上相对 TEAL 与 WINA 一致改善困惑度和下游准确率,同时保持与 WINA 基本相同的稀疏相关投影计算量,且在高稀疏度下增益最大;消融显示两个组件提供互补改进。

  6. arXiv

    EmoRES 把情绪向量拆成共享与残差两部分,在 IndexTTS-2 与 CosyVoice2 上把情绪命中率最高提升 12.95 个百分点

    该工作提出免训练的 EmoRES 方法,发现情绪引导向量可分解为把语音推离中性表达的共享分量与指向目标情绪的残差分量,并分别独立控制二者;在 IEMOCAP 上,EmoRES 在 IndexTTS-2 与 CosyVoice2 两个冻结骨干上于全部四项客观情绪指标上优于 CoCoEmo,排序相关性分别提升 26.13 与 12.97 个百分点,情绪命中率分别提升 12.95 与 6.92 个百分点,人类评测中听者正确识别主导目标情绪的比例相对提升最高 35.0%,自然度成对偏好最高达 63.8%。

  7. arXiv

    Tri-PvP 用 8000 条三模态冲突样本证明:全模态大模型普遍偏向图像,且视觉偏好感知证据、音频偏好命题证据

    研究者构建了 Tri-PvP——一个 8000 样本、覆盖动物、情绪、环境、音乐四个日常领域的三模态冲突基准,让图像与音频各自以感知形式(真实照片/录音)或命题形式(文字卡片图/TTS 语音)出现、文本始终为命题形式,在四个证据类型条件下评测五个全模态大模型,发现图像偏向在 20 个(模型×条件)组合中的 18 个里占主导,且存在系统性不对称:模型在视觉上更偏向感知证据、在音频上更偏向命题证据,这种偏向在早期隐藏层即可被线性解码,用对比解码只能部分缓解并带来残余文本偏向。

已读完全部报道