Goodfire 直接读 Qwen3.6 的神经元:砍掉 92.2% 弱激活只让语言模型损失上升 2.9%
Goodfire 团队在 Qwen3.6-35B-A3B 上直接研究 MLP 神经元,而不是先学一层替代特征空间。按路由加权保留每次前向最强的 320 个神经元、屏蔽其余 92.2% 后,语言模型损失只上升 2.9%;多数神经元只有一个或一个占主导的计算模式,用自然语言写下的描述还能预测、模拟并激活这些神经元。
Goodfire 团队在 Qwen3.6-35B-A3B 上直接研究 MLP 神经元,而不是先学一层替代特征空间。按路由加权保留每次前向最强的 320 个神经元、屏蔽其余 92.2% 后,语言模型损失只上升 2.9%;多数神经元只有一个或一个占主导的计算模式,用自然语言写下的描述还能预测、模拟并激活这些神经元。
AutoEnvScaling把强化学习环境设计本身变成终端任务,让提议智能体从求解器的 rollout 中生成新环境,有效环境率最高提升25倍、单个有效环境成本最多降低75%。
开放域多模态文档问答要先找到相关段落再读懂它们,而现有检索增强智能体让一个模型同时掌握两类工具并自行调度。KnowForge把流程按职责拆开:只负责搜索的定位智能体、由代码调度强制补上第二跳的桥接判定、合并各次搜索排名的有界证据池,以及只负责读文本、图像和表格的深读智能体。在自托管Qwen3.6-35B-A3B上,完整M3DocVQA(2441题、3368份PDF)F1达47.5,比已发表的M3DocRAG高11.0,比同一索引与模型上的一次检索即答高7.1。
ROSS 提出一种选择性监督的再学习流程:从原始 RL、多教师在线蒸馏(MOPD)或智能体 RL 训练中保存的历史自生成轨迹里,先用结果验证器筛出成功轨迹,再由 LLM 审阅者标出值得模仿的模型生成片段,保留完整轨迹作为上下文但只对被选中的 token 施加损失,从而在不产生新 rollout 的离线 SFT 阶段提升上游检查点,在 Qwen3.6-35B-A3B 上把 MOPD 六基准平均从 58.40% 提升到 62.20%、SWE-bench Verified 从 64.20% 提升到 68.40%。
CompoWorld 提出组合式环境扩展框架:用编码智能体把 MCP 工具规范转成带类型状态与共享接口的可执行服务,用随机游走在服务依赖图上生成并验证跨服务任务,再用验证过的轨迹做 SFT、用 Completion-Focused Rubric Reward 配合 GRPO 做 RL,构建了 448 个服务、10,130 个工具,并用 3K SFT 轨迹与 1K RL 任务训练 Qwen3.6-35B-A3B,在八个基准上平均提升 9.17 分,AutomationBench 任务成功率从 10.33% 升到 32.33%。
已读完全部报道