Socio-Foundation 以三阶段分层蒸馏让 8B 模型在个体行为模拟上比 Qwen3-8B 提升 11 分
该工作提出 FONTS 五维个体模拟能力分类,并据此构建约 1000 万条实例的训练语料库与三阶段后训练流程 Socio-Foundation:先用 DAPO 训练任务专家,再按能力维度经离策略蒸馏合并为五个能力专家,最后用多教师同策略蒸馏统一为单一模型;在自建 IndiEval 上平均分 61.7,比 Qwen3-8B 基线高 11.0 分,并在三个分布外基准上优于基线。
该工作提出 FONTS 五维个体模拟能力分类,并据此构建约 1000 万条实例的训练语料库与三阶段后训练流程 Socio-Foundation:先用 DAPO 训练任务专家,再按能力维度经离策略蒸馏合并为五个能力专家,最后用多教师同策略蒸馏统一为单一模型;在自建 IndiEval 上平均分 61.7,比 Qwen3-8B 基线高 11.0 分,并在三个分布外基准上优于基线。
已读完全部报道