# SemanTok语义分词器

SemanTok 是一种灵活长度视频 tokenizer，把冻结 DINOv2 特征送入编码器并用轻量头从每个保留的 token 前缀重建这些特征，使 201M 自回归模型在保真度上追平或超过 3.4 倍大的 VideoFlexTok 模型，并在所有噪声水平（含纯噪声）下提升语义对齐。

SemanTok 是一种灵活长度视频 tokenizer，把冻结 DINOv2 特征送入编码器并用轻量头从每个保留的 token 前缀重建这些特征，使 201M 自回归模型在保真度上追平或超过 3.4 倍大的 VideoFlexTok 模型，并在所有噪声水平（含纯噪声）下提升语义对齐。