# 语义监督

SemanTok 是一种灵活长度视频 tokenizer，把冻结 DINOv2 特征送入编码器并用轻量头从每个保留的 token 前缀重建这些特征，使 201M 自回归模型在保真度上追平或超过 3.4 倍大的 VideoFlexTok 模型，并在所有噪声水平（含纯噪声）下提升语义对齐。

SemanTok 是一种灵活长度视频 tokenizer，把冻结 DINOv2 特征送入编码器并用轻量头从每个保留的 token 前缀重建这些特征，使 201M 自回归模型在保真度上追平或超过 3.4 倍大的 VideoFlexTok 模型，并在所有噪声水平（含纯噪声）下提升语义对齐。

该工作提出 BiasReducer，一个只编辑线性奖励头、不重训奖励模型的轻量框架：先用带语义监督的稀疏自编码器式编码器学习长度、自信、谄媚等预设属性的内部表示，再为每个属性确定调整奖励头的方向与幅度并存入编辑库，最后针对新数据集按属性对奖励分数的影响力排序并选择相应编辑；在五个奖励模型上，BiasReducer-M 使 RM-Bench-Hard、Arena-StyleConflict、JudgeBiasBench 平均提升 8.3、18.0、6.9 个百分点，优于两个基于训练的基线，并在下游 best-of-n 选择与 GRPO 训练中减少冗长与谄媚而保持质量可比。

该工作提出 BiasReducer，一个只编辑线性奖励头、不重训奖励模型的轻量框架：先用带语义监督的稀疏自编码器式编码器学习长度、自信、谄媚等预设属性的内部表示，再为每个属性确定调整奖励头的方向与幅度并存入编辑库，最后针对新数据集按属性对奖励分数的影响力排序并选择相应编辑；在五个奖励模型上，BiasReducer-M 使 RM-Bench-Hard、Arena-StyleConflict、JudgeBiasBench 平均提升 8.3、18.0、6.9 个百分点，优于两个基于训练的基线，并在下游 best-of-n 选择与 GRPO 训练中减少冗长与谄媚而保持质量可比。