跳到主要内容
检索

# 表示学习

18 篇关联报道

订阅更新
  1. arXiv

    全身PET/CT配准不再靠像素强度:anatomix体素表征让肿瘤体积误差降到1.78%

    全身PET/CT纵向配准此前主要依赖原始像素强度或稀疏的分割标签建立对应关系,前者对跨模态外观变化不稳健,后者只能给出粗粒度身份。该工作改用anatomix三维基础模型提取的逐体素语义表征,叠加手工MIND-SSC描述子和分割标签,驱动FireANTs求解器分两阶段优化形变,并加入病灶体积保持约束。在2026 Learn2Reg PSMAReg挑战赛测试集上,该系统未在挑战训练集上训练即排名第一,MTV误差1.78%、TLG误差1.39%。

  2. arXiv

    岩芯不必先贴岩性标签:六项常规测井已含岩性,权重加到千倍只让重建从0.999掉到0.836

    海洋钻探岩芯不再需要地质学家写下的岩石名称来当训练目标。过去把船测岩性当作模型应当复现的正确答案,可每根岩芯上常规记录的六项测量——密度、磁化率、天然伽马辐射和三通道反射率——正是地质学家判名时所读的性质。一个不带标签、只在 LILY 数据库 296 个钻孔的 236,963 条观测上训练的掩码变分自编码器,对岩性的区分与用标签训练的版本相当(调整兰德指数 0.237 对 0.247),把标签权重提高到千倍只让重建从 0.999 掉到 0.836,分类几乎不变。

  3. arXiv

    整张表格也能变成一个向量:冻结的表格基础模型已自带数据集级结构,对比后训练再把检索做稳

    把预训练的表格基础模型直接当作整份监督数据集的编码器,一次前向就把未见过的数据集映射成定长向量,在六个数据集级任务上取得最强综合排名。

  4. arXiv

    CT预训练偏爱可预测结构:病理信号在隐藏目标预测中被削弱,扫描级判断几乎不受影响

    在113,611例胸腹盆CT上训练的TAP-JEPA编码器,其冻结特征在胸部与腹部分类基准上与现有CT编码器相当;但按训练时的掩码、教师与预测器逐位复算显示,隐藏目标预测把病理的平均Skill从0.388压到0.271,而解剖结构只从0.921降到0.873。病理区域在教师方向上向配对正常对照移动34.7%,对照反向移动13.6%,且离可见上下文越远位移越大;在七个扫描级探针中的四个,删去全部末层病理token对决策边距的影响不超过0.45%。

  5. arXiv

    Hyvärinen 论证无监督学习没有单一目标,并提出四个彼此正交甚至相互冲突的目标

    该文论证无监督学习(含自监督学习)不存在单一目标或单一被最大化的目标函数,并提出四个彼此不同、部分正交甚至相互冲突的目标:估计数据分布、生成新数据点、为下游任务提取特征、以及理解数据;作者对每个目标给出问题表述、代表性方法与验证方式,并指出理解数据这一目标依赖可辨识性,而验证本身往往最为困难。

  6. arXiv

    残余谱不稳定性理论解释了VAE潜变量逐维坍缩的级联现象

    该研究把变分自编码器中逐维后验坍缩表述为部分坍缩态附近的涨落理论:将负ELBO视为有效自由能,其二次展开的Hessian充当质量矩阵,坍缩方向构成不变涨落扇区,其精确质量谱由条件残余算子给出;当解码器方差低于残余谱上边缘时,局部再激活方向会降低自由能,等号对应临界点,该判据在训练实验中与潜维度逐个丢失的位置相符。

  7. arXiv

    ReCast 将冻结 LLM 隐状态转为归因导向步骤表示,在四个失败归因基准上取得最高 Hit@1

    该工作先量化发现文本嵌入与隐状态对根因步骤的区分度有限,随后提出 ReCast:用归因感知探针选层、稀疏 Johnson–Lindenstrauss 投影构造模式与偏差双分支特征,再用对比与排序目标训练双向编码器,把冻结 LLM 隐状态转成归因导向步骤表示,并发布 ReCast-2K 训练集;在 Who&When、TraceElephant、AFTraj-2K、Who&When Pro 四个基准上 Hit@1 均最高。

  8. arXiv

    CircuitGate 用全局主输入支撑与重汇聚建模提升 AIG 表示,在 ForgeEDA 上把等价门识别 MAE 降低 21.7%

    作者提出 CircuitGate,一个面向与反相图(AIG)的功能感知表示学习框架:它显式编码带极性的全局主输入(PI)支撑、用支撑重叠感知的重汇聚门控调制扇入更新,并加入逻辑启发的布尔约束;在 ForgeEDA、EPFL 与 ITC'99 上,等价门识别与信号概率预测的 MAE 均优于所比较的 GNN 与电路专用方法,ForgeEDA 上相对次优方法分别降低 21.7% 与 13.8%,并在 ForgeEDA 到 OpenABC 的零样本迁移中取得最低等价门 MAE。

  9. arXiv

    ΔRepresentation 用反事实推理把病灶表型建模为相对正常解剖的表征增量,在六个医学 VLM 上同时提升病灶定位与表型识别

    该工作提出 ΔRepresentation,一个面向医学视觉语言模型的视觉表型表征学习框架:BaseAnatomy 用理想空间分布对正常解剖表征施加几何监督,Phenotype 通过反事实推理估计病灶块对应的正常解剖参考并学习表型特异的表征增量,使同一表型的增量在表征空间中聚集。在 ReXGroundingCT 与 LIDC-IDRI 上,该方法在六个预训练医学 VLM 上一致提升病灶定位与表型识别准确率。

  10. arXiv

    去掉条件编码器残差连接并融合多层特征,DDT-RFE 在更少编码器块下同时提升四类视觉理解任务与 ImageNet 生成 FID

    作者在解耦扩散 Transformer(DDT)的条件编码器中移除 Self-Attention 与 MLP 周围的残差连接,改用零初始化输出门与混合正交注意力初始化保证训练稳定,并把输入 patch 嵌入与各编码器块输出聚合为编码器输出;在 ImageNet-1k、分辨率、patch size 2、80 epoch、batch 1024 的设定下,DDT-RFE 在图像分类、语义分割、物体发现、语义对应四类视觉理解任务上整体优于 DDT,且编码器块数更少(L 尺度 12 对 20,XL 尺度 14 对 22),ImageNet 生成 FID 从 8.98 降至 7.68(L)和从 7.27 降至 6.81(XL)。