跳到主要内容
检索

# 持续预训练

2 篇关联报道

订阅更新
  1. arXiv

    手术视觉编码器不再从自然图像起步:InnerLogic-Surg 冻结骨干在20项手术任务上全部领先

    手术图像分析长期依赖自然图像预训练编码器,或在小规模标注数据上从零训练专用模型。InnerLogic-Surg 以 DINOv3 为起点,在来自11965段公开手术视频、约2900小时、覆盖15种以上术式的数百万帧上做持续自监督预训练,得到21M至300M参数的编码器家族。在冻结骨干、仅训练线性读出层的统一协议下,该家族在覆盖流程识别、器械与解剖识别、分割、检测和单目深度的20项任务上均取得最佳线性探针表现,其中 ViT-L 在18项领先,ViT-B 在 GraSP 步骤识别与单目深度上最佳。

  2. arXiv

    插值定位中间层并冻结权重,让gemma-3-4b多语言持续预训练在阅读理解上平均超过基座模型

    该研究在gemma-3-4b上对五个语系做持续预训练(CPT),通过插值CPT前后的模型状态定位遗忘发生的层,发现中间层回退对阅读理解恢复最大,而翻译效果随语系和方向变化;据此比较层冻结、层区间L2正则、事后层回退与模型汤等策略,发现保留插值定位到的层权重可显著降低相对联合CPT的理解损失,层冻结平均超过基座模型,但翻译结果好坏参半。

已读完全部报道