# YT-Temporal-1B

该工作研究能否用无字幕、无文本损失的原始网络视频对预训练语言模型做中期训练：将视频帧编码为连续视觉token，让模型预测下一个视觉token，在YT-Temporal-1B的原始片段上中期训练Qwen3-1.7B，再与未做中期训练的模型施加相同的图文指令微调；结果视频基准平均提升2.9分、图像基准提升5.1分，文本平均分由48.0升至48.9，且预测字幕并不优于预测视觉token。

该工作研究能否用无字幕、无文本损失的原始网络视频对预训练语言模型做中期训练：将视频帧编码为连续视觉token，让模型预测下一个视觉token，在YT-Temporal-1B的原始片段上中期训练Qwen3-1.7B，再与未做中期训练的模型施加相同的图文指令微调；结果视频基准平均提升2.9分、图像基准提升5.1分，文本平均分由48.0升至48.9，且预测字幕并不优于预测视觉token。