CARMEN把十路心肺波形装进一个编码器:冻结权重下,19项任务中多数胜过专用模型
首尔大学医院团队发布CARMEN,一个在十种心肺波形、约227万模态小时无标签数据上预训练的单编码器,可接受任意共录信号组合与10秒到5分钟输入。冻结编码器加线性层后,它在19项围术期与ICU任务中于15项有监督对照里12项显著优于端到端监督模型,并在14至17项上超过三个预训练基础模型,且无一项被反超。
首尔大学医院团队发布CARMEN,一个在十种心肺波形、约227万模态小时无标签数据上预训练的单编码器,可接受任意共录信号组合与10秒到5分钟输入。冻结编码器加线性层后,它在19项围术期与ICU任务中于15项有监督对照里12项显著优于端到端监督模型,并在14至17项上超过三个预训练基础模型,且无一项被反超。
Glyph把临床基础模型的高维嵌入拆成稀疏、可命名的概念,让这些原本纠缠在一起的特征能像临床变量一样被检验。研究在41,628名患者的腹部CT、影像报告和化验数据上测试了604,185个概念—结局配对,得到397个高风险概念和4,463个Bonferroni显著关联。多数关联在三个留出队列中无需重新校准即可复现,且前十概念在合并留出队列中的复现率高于文献检索得到的标记。
ICU脓毒症预警模型大多只回答“会不会发生”,报警之后医生仍不知道起病发生在什么情境、早期病程会怎样走。SepsisFlow把起病前逐小时风险、起病时刻的患者状态与起病后72小时器官支持轨迹放在同一条从入ICU起逐小时推进的时钟上:起病前只用床旁可见、不含抗菌药与培养医嘱的记录,在MIMIC-IV内部测试集上24小时AUROC为0.822;起病状态聚成三类情境,其28天院内死亡率分别为17.1%、15.1%和2.2%。
小鼠行为分析长期依赖逐只编码姿态的自监督模型,而攻击、求偶、骑跨、理毛等关键行为本身发生在多只之间。MICE把六个小鼠姿态数据集统一到12个关键点词表上联合预训练,用分层个体编码器刻画单鼠运动学,再用Perceiver式社交编码器通过学习到的隐码本处理任意数量的同笼个体,使一个检查点无需重训即可服务不同群体规模。在六个数据集、四种评测协议上,MICE匹配或超过此前的关键点基线,逐层探测显示社交阶段在个体编码器之上进一步提升行为可分性。
PhysioWave-T 把多尺度小波分析压进固定长度的 token 序列:在分词之前用动态尺度折叠把各子带重新合成一路信号,使分解层数只改变每个 token 的内容、不再拉长序列。四个脑电路由上,折叠相对尺度展开把 Transformer 延迟降低 4.0–7.2 倍、峰值显存降低 6.8–12.7 倍且不损失精度;30M 参数脑电编码器在九个指标中的八个领先 BENDR、BIOT、LaBraM 与 EEGPT。
目标数据集上的人工标注被一条自动流程替代:SAM生成分割候选,CLIP做快速预筛与标签匹配,大视觉语言模型只对聚类中心图像给出语义标签,再用这些伪标签训练开放集检测器并迭代精修。在COCO val2017与LVIS minival的零样本设定下,YOLO骨干版本分别达到60.8 AP和47.4 AP,Swin-T骨干版本为57.2 AP和46.2 AP,说明增益并非只来自检测骨干。
基础模型通常按预训练、中训练、监督微调和强化学习分阶段训练,每阶段换数据也换算法。统一训练把这几步都写成对目标分布的最大似然拟合,让静态语料与强化学习生成样本在同一个训练器里按比例混合,分阶段训练成为其中一个特例。在受控推理任务和真实中训练数据实验中,统一训练改善了准确率与算力的权衡和任务覆盖,并保留了更广的能力。
高能物理分析长期为每个任务单独训练模型,EVENET把每次对撞表示成无序粒子云,用5亿个模拟事件做自监督加物理监督的两阶段预训练,再以可替换的任务头适配下游。在CMS开放数据的反孤立ϒ→μ+μ−搜寻中,完整预训练版本经校准后给出7.6σ的中位局部显著性,高于已发表的6.4σ;在重共振搜寻的质量网格上,其最大SIC相对从头训练平均提高约50%。
细胞形态图谱过去依赖细胞分割和人工特征,标注稀缺又难跨实验室复用。研究者在JUMP–CP的119,876个无标注化合物、约177万张图像上预训练四类自监督模型,冻结权重后直接提取图像嵌入。在EU-OPENSCREEN Bioactives的2,464个化合物上,DINO与DINOv2在作用机制检索的位点平均mAP上比CellProfiler高31–37%,并全面优于掩码类模型。
AnyLanguageModel 发布 1.0,把苹果 Foundation Models 框架的接口做成可替换层,应用只需把 import 从 FoundationModels 换成 AnyLanguageModel,同一段会话代码即可调用系统模型、经 llama.cpp、MLX 和 Core ML 运行的开源权重模型,以及多家托管服务。此前开发者想用本地模型,往往要自己处理多种推理提供方带来的额外复杂度。一年间该库补齐了各提供方一致的工具调用与引导式生成,并新增图像输入和 Linux 运行支持。