跳到主要内容
检索

# 交叉注意力

8 篇关联报道

订阅更新
  1. arXiv

    AFM-IR高光谱成像只测5%光谱:CACNP在0.1秒内重建整块化学立方并给出逐体素不确定度

    纳米红外高光谱成像要在每个像素上逐点采集光谱,完整立方体耗时可达数小时。CACNP把稀疏采到的光谱与少量单波数结构图一起输入卷积—注意力条件神经过程,在合成立方体上训练后直接输出整块立方体及逐体素不确定度。在环氧中聚苯乙烯与聚甲基丙烯酸甲酯颗粒的实验数据上,仅用5%光谱即可重建,推理不到0.1秒,重建误差接近样品噪声水平。

  2. bioRxiv

    细胞扰动预测不再依赖变量取值:RELAY只用共享变量关系,PBMC-3D上PDCorr达0.495

    细胞对扰动的响应由扰动身份、细胞类型、供体和剂量等多个实验变量共同决定,每个已测细胞群只占据这个多维条件空间的一个坐标。以往方法要先给出这些变量的显式表示,遇到训练中没出现过的取值就难以泛化。RELAY改为从与目标共享部分变量的已测对照—扰动细胞对中推断,只告诉模型共享了哪些变量、不提供变量取值;在化学、遗传和细胞因子扰动数据上,它在未见变量取值设定下优于STACK、scGen和TabPFN,在未见组合设定下优于受监督方法,PBMC-3D上PDCorr为0.495,而最强受监督基线STATE为0.225。

  3. researchsquare.com

    单张手绘草图重建三维网格:保留局部笔画令牌,平均IoU从0.616升到0.628

    从一张手绘草图重建三维网格时,常见做法是把草图特征压成一个全局向量,细笔画和薄结构随之丢失。Locality-Preserving Sketch Token Fusion 改为同时保留全局形状表示和按空间排布的局部令牌,并让全局表示在解码时通过交叉注意力按需取用局部令牌。在 ShapeNet-Synthetic 上,真值视角设置下平均IoU由 SS2M 的0.616升到0.628;在真人手绘的 ShapeNet-Sketch 上,真值视角与预测视角设置下平均IoU分别为0.498和0.487。

  4. Scientific Reports

    大鼠睡眠分期不再怕换药:只用生理盐水训练,换到致幻剂条件F1只掉不到1%

    在超过110万个标注片段的大鼠EEG/EMG数据上,一套面向鲁棒性的深度学习流程把四类睡眠分期做到94.3%的F1,比SlumberNet的87.0%和随机森林的87.9%分别高7.3和6.4个百分点。此前多数自动分期模型用保留同一分布的随机划分评估,遇到新个体或药物造成的分布偏移就会明显退化。该流程用全局上下文向量、监督对比学习和双分支分类器学习对个体与处理条件不敏感的表征,只用生理盐水记录训练、在未见动物身上测试时,各项指标下降不到1%。

  5. researchsquare.com

    酶动力学预测改学配对差值:冷启动下kcat的R²达0.71,外部腺苷酸激酶零样本PCC为0.40

    酶动力学预测长期依赖在异质数据上直接回归绝对值,同一酶-底物体系在不同研究中的测量可相差数个数量级,模型容易向均值收缩。DeltaKcat把任务改写为配对相对学习:在同一研究内固定酶或固定底物,用孪生网络预测两个酶-底物复合物之间的动力学差值,再用实验已知的参照复合物把差值还原为绝对值。在冷启动划分下,kcat的绝对预测R²为0.71、PCC为0.85,高于DLKcat、CataPro和UniKP的R² 0.14至0.48;在完全未参与训练的外部腺苷酸激酶数据上,零样本PCC为0.40。

  6. arXiv

    降水生成不再重训天气大模型:一个扩散生成器挂到冻结骨干上,第7天Brier分数从0.245降到0.218

    一个单独训练的扩散生成器把冻结天气模型输出的非降水大气状态映射为与卫星-雨量计观测对齐的24小时降水,在Pangu-Weather、GraphCast和HRES上无需按骨干重训即可改善日降水量与事件检测。

  7. arXiv

    视频扩散模型为何违反物理:研究者定位到RoPE空间锚定效应,仅缩放RoPE频率即提升物理常识

    该研究对文本到视频扩散模型的“运动规划”过程做了可解释性分析,发现自注意力中RoPE引起的过度空间注意力衰减会让早期候选区域过早锁定到物理上不合理的位置,并据此提出一种仅在不同去噪步上缩放RoPE频率的轻量架构改动,在免训练与基于训练的实验中提升了生成视频的物理常识。

  8. arXiv

    AGGRNet用可学习阈值把医学图像特征分为信息性与非信息性两类,在Kvasir上比HiFuse-Small准确率高5.48%

    该工作提出AGGRNet框架,在YOLOv11分类骨干中嵌入特征提取与聚合(FEA)模块和C2PCA块,通过空间与通道注意力加可学习阈值τ把特征图分为信息性与非信息性两部分,再用交叉注意力聚合,在LIMUC、ISIC2018、Kvasir、PathMNIST、RetinaMNIST五个公开数据集上取得优于所比较SOTA模型的结果,其中Kvasir准确率提升5.48%、LIMUC准确率提升2.2%。

已读完全部报道