# 自回归预训练

视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。

视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。

癌症治疗副作用的预测长期依赖少数变量构成的静态评分表。SPARC把血常规、综合代谢面板与生命体征的纵向序列作为建模对象，先在22.4万名患者、约1.02亿条测量上预训练，再针对死亡、贫血、中性粒细胞减少、发热性中性粒细胞减少、急性肾损伤和肝毒性等任务微调。模型在同中心留出集、前瞻队列以及多家外部医院队列上取得领先或相当的表现，并能按预测风险分层找出最可能从G-CSF预防中获益的患者。

癌症治疗副作用的预测长期依赖少数变量构成的静态评分表。SPARC把血常规、综合代谢面板与生命体征的纵向序列作为建模对象，先在22.4万名患者、约1.02亿条测量上预训练，再针对死亡、贫血、中性粒细胞减少、发热性中性粒细胞减少、急性肾损伤和肝毒性等任务微调。模型在同中心留出集、前瞻队列以及多家外部医院队列上取得领先或相当的表现，并能按预测风险分层找出最可能从G-CSF预防中获益的患者。