大模型推理时不再改权重：按每个问题调神经元，3B到32B七个模型全部涨分
核心概要
大模型推理时不必再靠预设的固定干预：Q-NeuS按每个问题自身的内部激活决定放大哪些前馈神经元，在3B到32B的七个模型和三个基准上全部涨分。
深度剖析
大模型在推理阶段可以按当前问题动态决定干预哪些内部神经元，而不是沿用事先定好的干预方案。 此前的两条路线要么靠上下文工程塑造输入，要么用固定干预直接改动模型计算，干预目标或方向都提前确定，难以适配知识需求各异的问题。 在MMLU-Pro、SuperGPQA和WildSci三个基准、七个3B到32B参数的模型上，Q-NeuS在每个模型和每个基准上都高于未干预的基线，例如Qwen2.5-3B在MMLU-Pro上从31.43升到38.37。
做法是让一个轻量门控网络读取当前问题在模型内部产生的激活，输出每个前馈神经元的放大系数。 门控网络在所有Transformer层之间共享，只靠一个可学习的层嵌入保留层间差异，训练时基础模型参数保持冻结，只优化这个门控。 训练用Neu-GRPO，把同一问题下多组神经元干预配置的相对表现作为反馈来优化门控；候选神经元由训练数据按学科和层筛选，推理时不需要任务或学科标签。
跨基准迁移时，只在MMLU-Pro上训练的策略在多数知识密集型推理基准上仍能提升或持平。 与同样只在MMLU-Pro上训练的GRPO相比，Q-NeuS在多数目标基准上更好，因为GRPO学到的是一套固定参数更新，而Q-NeuS按每个新问题的内部激活重新决定干预。 在GPQA-Main、GPQA-Diamond、SuperGPQA、LiveBench、AGIEval、GSM8K和ARC-Challenge上直接评测，GPQA与SuperGPQA的迁移较一致，LiveBench的提升有限甚至偶有下降。
启示与展望
报道覆盖的是推理阶段的前馈神经元调制：基础模型参数在训练和推理中始终冻结，推理时不需要任务或学科标签，门控参数约占骨干模型的0.32%到1.46%。评测范围是七个3B到32B参数的模型在MMLU-Pro、SuperGPQA、WildSci上的域内结果，以及只在MMLU-Pro上训练后对GPQA-Main、GPQA-Diamond、SuperGPQA、LiveBench、AGIEval、GSM8K、ARC-Challenge的直接评测。适合关注推理阶段干预与能力调用的研究人员和工程读者。
跨基准迁移并不一致：LiveBench上提升有限甚至偶有下降，作者把这一点归因于它与MMLU-Pro的分布差异较大，包含编码和数据分析等训练数据中较少出现的任务形态。消融显示神经元采样比例升到90%时性能明显回落，作者认为过高的采样会降低各次干预配置之间的多样性。案例研究只覆盖五个问题，逐问题的神经元重叠模式还随Transformer层变化。