跳到主要内容
检索

# 视觉Transformer

10 篇关联报道

订阅更新
  1. arXiv

    MRI重建不再从临床原始数据学起:SIM用物理仿真训练,跨14个数据集零样本重建

    SIM把MRI重建的训练数据来源从临床采集的原始k空间换成按多线圈成像物理规律生成的仿真样本,并用通用Transformer把数据量和模型容量一起放大。在14个公开与自建数据集上,它跨7个中心、5家厂商、0.3至7 T场强和十余种采集协议做零样本重建,PSNR比次优方法高1.06至3.95 dB;在150例盲法阅片中,SIM在某一加速倍数下诊断可用性达到100%,该倍数在原文中未给出。

  2. arXiv

    星系形态成了恒星形成史的化石:Katachi-PRIME用三色图像推断质量、年龄与金属丰度

    Katachi-PRIME(形')把星系三色宽带图像与测光一起送入隐式似然推断,直接给出恒星质量、比恒星形成率、红移、年龄、尘埃消光和金属丰度的完整后验。在GSWLC约23万个星系上,仅用gri图像的后验比5波段测光更紧,两者合用最优;同一套图像嵌入还显示,主序与宁静星系的形态能连续回溯数Gyr的恒星形成史,而星暴与绿谷星系只能保留最近的活动。

  3. bioRxiv

    SVC把每个基因的胞内分布当成图像块:用同一细胞的其他基因作上下文,预测未测转录本的亚细胞位置

    亚细胞分辨率空间转录组能测到转录本在细胞内的位置,但此前的方法多针对单一分析任务,缺少在细胞类型与组织环境中统一刻画并预测基因胞内定位的框架。SVC 把每个基因在细胞内的空间表达当作一张图像块,用同一细胞的其他基因作为上下文,以自监督掩码方式学习跨基因的空间依赖。在 seqFISH+ 小鼠胚胎成纤维细胞数据上,SVC 对未测基因的亚细胞模式预测在六项指标上均优于四个图像基线,相对更具挑战性的基线组中位提升为 5.2%–21.0%。

  4. Hugging Face - Blog

    卫星影像不必逐任务重训:OlmoEarth v1.3把全球陆地压成128维向量,27项评测中20项领先

    Ai2发布OlmoEarth v1.3卫星嵌入模型,把一年的雷达与多光谱卫星时间序列压缩为每个10米像素一个128维向量,并预先算好全球年度嵌入公开共享。此前使用OlmoEarth主要靠在OlmoEarth Studio中为每个任务微调模型,需要GPU和下载存储影像。与AlphaEarth Foundations和Tessera v2在六大洲27项评测上比较,128维嵌入在20项上得分最高,64维版本在18项上领先。

  5. arXiv

    事件相机动作识别不再只看单帧:把长序列切成多帧,THU-EACT-50 CHL 上准确率从30.5%升到78.7%

    瑞典国防研究局把事件流切成多帧再预训练,长时复杂动作识别在THU-EACT-50 CHL上达到78.7%、DailyDVS-200上达到66.9%,且只用事件数据。

  6. arXiv

    REViT-v2 用窗口化群卷积自注意力把旋转反射等变 ViT 的注意力代价从二次降为线性,并在 ImageNet-1K 上超过旋转翻转增强的 ViT-S 与 RE-ResNet

    作者提出 REViT-v2:把群卷积自注意力限制在局部窗口内(wG-CSA),并用群卷积分词与下采样构建多阶段等变特征金字塔,使旋转反射等变注意力的空间复杂度由图像面积的二次降为线性;在 ImageNet-1K 上,等变 REViT-v2-S 取得 79.27% 与 80.9% 的 Top-1 准确率,高于旋转翻转增强的 ViT-S(72.08%)和 RE-ResNet(77.37%),并在 Rotated MNIST 上以更小的模型、FLOPs、延迟与峰值显存保持约 98.26% 的准确率。

  7. bioRxiv

    SpatialTRACE 用少量标注把空间转录组注释扩展为全切片解剖轴与区域图谱,并仅凭 DAPI 图像预测同一坐标

    作者开发了 SpatialTRACE,包含基于图与基于图像的两类模型:SpatialTRACE-Graph 结合基因表达谱与空间邻域,在小鼠小肠切片中仅用 10 个已标注绒毛即可预测隐窝-绒毛轴与上皮距离轴坐标并识别 Peyer 斑;SpatialTRACE-Image 作为多尺度视觉 Transformer,从 SpatialTRACE-Graph 生成的坐标与区域预测中学习,仅凭 DAPI 即可在全组织图像上预测相同解剖轴坐标与区域,并被用于免疫荧光图像中定位 LCMV Armstrong 急性全身感染下抗原特异性 P14 CD8 T 细胞,显示视黄酸受体抑制剂处理切片相较溶剂对照整体 T 细胞更少、上绒毛固有层比例更低而肌层相对

  8. Frontiers in Oncology

    608篇AI乳腺癌影像研究的文献计量分析显示:诊断占71.22%,可解释AI爆发值1.00成为最热前沿

    该研究以Scopus与Web of Science为数据源,经PRISMA流程从4831条记录中筛出608篇2020—2026年同行评审期刊论文与综述,用Bibliometrix与VOSviewer做任务感知、方法学中心的文献计量与主题分析,发现诊断类研究占71.22%、乳腺X线摄影占42.11%、可解释AI爆发值1.00为最强新兴热点,而治疗反应预测仅占2.30%、仅约15—25%的研究明确报告超参数调优策略。

  9. arXiv

    ICHOR用11405例ASL脑血流图自监督预训练,在四项下游任务上整体优于结构MRI预训练基线

    该研究提出ICHOR,一种基于3D掩码自编码器(ViT-Base编码器加轻量解码器)的ASL脑血流(CBF)图自监督预训练框架,在来自14项研究、多站点多协议的11405例ASL CBF扫描上预训练,并在三项诊断分类任务和一项ASL CBF图质量预测回归任务上评估,结果显示其在四项任务上整体优于BrainIAC、BrainSegFounder和MedicalNet等结构MRI预训练基线。

  10. arXiv

    TranSamba 用跨平面 Mamba 把弱监督体数据分割的 DSC 推到 64.1%,在 BraTS、KiTS、LASC 三个数据集上均居首

    该工作提出 TranSamba——在 DeiT-S 视觉 Transformer 编码器的每一层 Transformer 之前串联一个跨平面 Mamba(CPM)块,让相邻平面间的 patch token 以线性时间交换信息,从而改善平面内自注意力与类到 patch 注意力图;在仅使用平面级标签、每批 16 个含 16 个连续平面的体数据、训练 100 轮设置下,它在 BraTS、KiTS、LASC 测试集上分别取得 64.1%、26.8%、41.0% 的 DSC 与 46.8%、25.8%、25.6% 的 IoU,均为所比较方法中最高,且时间复杂度随平面数线性增长、批处理空间复杂度与平面数无关。

已读完全部报道