指令微调数据只取0.5%：QSGS用图割去冗余，Mistral-7B追平全量数据
面向指令微调的目标数据选择，QSGS把候选样本的梯度相似度组织成一张图，用子模图割同时拉近目标任务、压低子集内部冗余，再用梯度引导合成补上选不出的方向。在MMLU、BBH、TydiQA三个基准和Llama-2、Llama-3、Mistral三个模型上，0.5%预算（27万条中取1350条）的QSGS在Mistral-7B上追平或超过全量数据表现，并在所有基准上优于最强基线。
定理证明训练数据不再靠堆量：从已验证证明里挖出500道边界难题，两个证明器都涨分
形式定理证明的强化学习受限于高质量难题稀缺：现有Lean题目要么已被证明器解出，要么信息量太低。ProofFrontier从已有Lean已验证的定理–证明对出发，保持原定理陈述不变，只遮住证明结构中的关键局部节点，让证明器重新发现中间推理，再用基础证明器的通过率筛出“原则上可解、但不易解”的边界难题。用GRPO在500道合成任务上训练后，DeepSeek-Prover-V2-7B与Goedel-Prover-V2-8B在miniF2F、ProofNet和PutnamBench上均较各自基础模型提升。
推理后训练不必喂满语料：两级收缩把优化预算压到0.22%，9B学生仍能打
推理后训练不再把全部教师思维链等量喂给学生。此前扩大语料会推高训练成本，却换不来成比例的性能提升。这里先用蒙特卡洛推理树估计中间状态的过程不确定性，把语料收缩成教师侧候选池，再在监督微调中按学生当前损失在线路由，在多个推理基准和模型家族上把优化预算压到全量监督微调的0.22%至1.91%，推理表现保持或提升。
Fisher引导的子模数据选择让1B精选token在医学持续预训练中同时优于10B回放token的适配与抗遗忘表现
该工作发现基于损失的数据选择会使持续预训练后的Fisher对角在高Fisher坐标上系统性下降、而低Fisher坐标基本不变，据此提出将候选样本梯度分解为锚定分量与前沿分量、并用对数行列式子模目标在单遍流式流程中优化的Fisher感知选择器，在TinyLlama-1.1B与Llama-3.1-8B的医学数据持续预训练中提升目标域质量并约束遗忘，且1B精选token在适配与遗忘两项上均优于10B token的回放策略，呈现约10倍token效率优势。
OmniEdu 用 6.9999 万条能力导向指令微调 4B/9B/27B 模型，在课程定位、K12 解题与教学辅导三类基准上全面超过各自基座
北京大学、中国科学院大学与中关村学院的研究者构建了面向 K–12 学习与教学的开源基础模型家族 OmniEdu，用围绕学科能力、课程定位、诊断推理、教学行动与支架四类能力组织的指令微调语料（最终 69,999 条样本、15.96M 监督回复 token，其中教育专用 60,951 条、约 12.0M token），对 4B、9B、27B 三个基座做全参数监督微调，并在课程定位、K–12 解题与教学辅导基准上报告了各规模一致提升，其中 OmniEdu-27B 在 K12-Bench 达 63.12% EM / 76.69% F1、MathFish 85.89%、EDUMATH 86.95% MaC、MathTutorBench Scaffold 78
已读完全部报道