整张表格也能变成一个向量:冻结的表格基础模型已自带数据集级结构,对比后训练再把检索做稳
把预训练的表格基础模型直接当作整份监督数据集的编码器,一次前向就把未见过的数据集映射成定长向量,在六个数据集级任务上取得最强综合排名。
把预训练的表格基础模型直接当作整份监督数据集的编码器,一次前向就把未见过的数据集映射成定长向量,在六个数据集级任务上取得最强综合排名。
作者构建了 95 小时城市步行游览视频数据集 WT++,在严格滑窗、不打乱、不多轮回放的流式设定下评测 MoCo v3、DINO 与 MAE,发现对比与自蒸馏方法明显落后、MAE 更稳健但仍不及 i.i.d. 预训练,并通过受控实验把差距归因于批内高相似度而非批间相似度,进而提出保留 MAE 重建目标、加入流感知正则与运动偏置裁剪的 StreamMAE,使其超过流式基线、追平同数据 i.i.d. MAE,并随预训练流从 12 小时增至 95 小时持续提升。
已读完全部报道