跳到主要内容
检索

Meng’en Qin

2 篇关联报道

订阅更新
  1. arXiv

    让稀疏系数自己学会压缩:信息瓶颈视角下的训练自适应卷积稀疏编码

    该工作把卷积稀疏编码中的稀疏系数从人工设定的固定超参数改为可微、可与网络参数联合学习的变量,用FISTA展开迭代实现其梯度回传,并在信息瓶颈框架下解释该系数对“压缩—保留”权衡的控制作用,在CIFAR-10/100与ImageNet-1K上取得有竞争力的干净数据识别精度,并在多种输入扰动下显著提升鲁棒性,同时提出一种仅用少量无标签受损样本、冻结主干参数、只调整压缩强度的后训练自适应策略。

  2. arXiv

    多模态大模型的幻觉源自“协同头”内部信息分布漂移

    该工作提出 HEAL,通过对多头注意力输出施加因果噪声干预并用反事实双重差分把注意力头分为冗余、视觉、语言与协同四类,发现幻觉发生在协同头内部视觉—语言信息分布偏离健康均衡之时,而非与模态专属头的数量或强度强相关,并据此在推理时向协同头的 value 向量注入动态校准因子,在多个 MLLM 与多个基准上降低了幻觉。

已读完全部报道