SteerScope 评测套件：23 种方法中无一在效能—副作用权衡上超越 Prompt Steering 基线
核心概要
作者提出 SteerScope，一个以 15 项指标、两条轴（Steering Outcomes 与 Method Properties）组织的 LLM 激活引导评测套件，在 Gemma-2-2B-it 与 Gemma-2-9B-it 上以匹配的模型、任务与评测协议基准测试了 23 种方法（含 prompting、LoRA、SFT 基线）；结果显示没有任何激活引导方法在获得更高目标效能的同时不带来更大的复合副作用，因而在效能—副作用权衡上均未超越 Prompt Steering 基线，且引导效能与副作用随干预强度同步上升。
Figure 1: Overview of the SteerScope evaluation suite and benchmark coverage. Left: our hierarchical evaluation taxonomy. Right: coverage matrix of existing steering benchmarks, where rows denote taxonomy nodes and columns denote evaluation works (last column: SteerScope). A ✓ indicates a corresponding metric, ✗ indicates none, and △ \triangle indicates that the dimension is considered indirectly but not measured independently.
arXiv深度剖析
SteerScope 把 15 项指标组织为两条互补的轴：Steering Outcomes 衡量目标效能（Concept Expression）与语言质量、任务能力、安全与可靠性三方面的副作用；Method Properties 衡量跨语言提示分布偏移下的泛化与对训练数据的依赖。 既有基准只覆盖部分维度：AxBench 的 off-target 评测限于指令跟随与流畅度，SteeringSafety 聚焦安全纠缠，CLaS-Bench 专注跨语言控制，FaithSteer-BENCH 只在单一校准工作点评估且不覆盖语言质量与安全副作用。SteerScope 把这些维度合并到同一套匹配协议下。 15 项指标由 8 个评测器与 11 项顶层副作用指标构成；所有方法对同一概念使用完全相同的评测样例，不同概念使用不同的确定性子集。低成本基准（MMLU、BBQ、TruthfulQA）覆盖全部 500 个概念，高成本基准（SuperGLUE、MATH、IFEval、JailbreakBench）使用跨方法、跨因子共享的 50 概念子集。
在两个模型尺度上，没有任何被评测的激活引导方法在效能—副作用权衡上超越 Prompt Steering 基线：没有方法在获得更高目标效能的同时不带来更大的复合副作用。 部分激活引导方法在既有基准上确实优于 Prompt Steering，例如 A-PSR 在 AxBench 的 Overall 与 Concept Expression 指标上表现更好；但把副作用范围扩大后这一优势不再成立。 在 Gemma-2-9B-it 上，A-PSR 在其 Overall 选定的方法级因子处把 Concept Expression 提升 1.30 分，同时带来 0.12 的平均归一化退化；在 Gemma-2-2B-it 上对应为 1.20 分与 0.11。对指标权重做对称 Dirichlet 重采样后，Prompt Steering 在近均匀权重下几乎从不被支配（Dirichlet 下 99.83% 与 99.92% 的抽样中未被支配），在高度稀疏权重下该结论稳健性下降但仍一致。
引导效能与副作用随干预强度同步上升，且低强度干预有时会改善 off-target 指标；这种改善在反转引导方向后消失或反转，指向方向依赖的概念纠缠而非弱扰动的通用效应。 这为「副作用来自概念纠缠」提供了带符号因子对照的证据，而不只是相关性描述。 在 Gemma-2-2B-it 第 20 层用带符号归一化因子评测 MMLU，部分正向干预带来的增益在方向反转后消失或变为退化。
跨语言提示分布偏移下目标效能往往得以保留，而副作用趋于更明显；同时各方法的样本效率差异显著。 把泛化与数据依赖作为方法属性单独度量，而非只看单一工作点的绝对分数。 在表 1 所示的 13 种方法中，有 11 种在 OOD 提示下 Instruction Degradation 更大，9 种 Fluency Degradation 更大；样本效率方面，HyperSteer 与 DiffMean 在极少样本下即可保留较大比例的全数据效应，而 A-PSR、FLAS、LoRA、ReFT-r1 需要更多数据才能接近全数据表现。
启示与展望
该套件面向需要在推理时控制 LLM 行为、并关心副作用代价的研究者与工程师，适用于指令微调的 Gemma-2-2B-it 与 Gemma-2-9B-it、CONCEPT500 概念集以及第 20 层残差流的单点干预设置。它给出的是强度依赖的效能—副作用曲线，因此可直接用于方法选型与工作点选择：若目标是高效能工作点，激活引导的可调强度仍有价值；若目标是整体权衡，Prompt Steering 基线是当前的参照。跨语言泛化只在文本类概念上评测，因为跨语言提示偏移不适用于代码或数学概念。
读者仍会关注：复合副作用采用 11 项指标等权平均，虽然作者用 Dirichlet 权重重采样检验了稳健性，但在高度稀疏的指标偏好下结论稳健性下降；方法级因子在全量 ID 评测集上选取，作者也指出这可能给工作点校准带来一定乐观性；保留率与样本效率都是比值，在分母接近零时不稳定，因此只对满足阈值的子集报告；置信区间只反映概念抽样不确定性，不包含训练种子以及额外的生成与评判不确定性；SFT 因算力原因只在 20 个概念上训练与评测。