激活引导该插在哪一层:TopoSteer用位移点云的连通长度排序,免去留出集试跑
核心概要
激活引导在推理时向大模型内部表示加一个向量,但插在哪一层长期靠试:已有选择器只看两类激活是否可分、单条位移是否与均值同向,从不真正引导模型验证。TopoSteer改为给每层算一个分数,即该层逐样本位移点云的欧氏最小生成树总长,用连通长度衡量均值差向量能否代表这些位移。在五个指令微调模型、六个二元人格引导任务上,它在多数模型—层预算组合中优于LayerNavigator,但优势随模型和层预算变化,Qwen-7B与Qwen-32B上更小且更混杂。
深度剖析
层选择有了一个不需要留出集试跑的打分依据:不再问两类激活分得开不开,而问均值差引导向量所平均的那一团逐样本位移有多分散。 此前的无验证选择器LayerNavigator用Fisher型可分性项加上方向一致性项排序,前者只看类均值与类内散布,后者是余弦平均、对每条位移单独缩放不变,两者都不看位移点云的整体延展。 在五个指令微调模型、六个二元人格引导任务上,同时注入设定下TopoSteer在多数模型—层预算比较中高于LayerNavigator,一次持平、四次更低;最大增益出现在Qwen-3B,例如层预算为3时对齐概率从61.55升到66.20。
打分对象是每层标准化表示下逐对样本的位移向量,分数取这团点云的总持久度,等价于其欧氏最小生成树的边长总和。 最小生成树把点云连成一棵总长最短的树,边长总和因此直接读出点云铺开的程度;该分数对整体平移不变,只依赖各样本残差位移的相对排布。 分数与引导向量共用同一次激活提取的缓存,不需要额外的模型前向、辅助训练或留出集引导评估,额外开销只是对提取数据做一次离线几何计算。
可分性与连通性可以给出相反的层排序,这解释了两种选择器为何会挑中不同层。 在固定类均值、按比例放大类内残差的单参数族上,总持久度随该比例严格增大,而LayerNavigator的可分性项严格减小。 该结论针对固定层与可分性分量本身;真实层还可能沿两种分数一致的方向变化,因此两个选择器有时会选中相同层。
启示与展望
演示范围是五个指令微调模型(Llama-3-3B、Llama-3-8B、Qwen2.5-3B、Qwen2.5-7B、Qwen2.5-32B)上的六个二元人格引导任务,评估指标是对齐答案的平均概率与生成困惑度,并同时考察一次性注入与逐轮贪心重选的顺序注入两种协议。
方法假设正负样本成对匹配,且目前只考虑均值差引导,其他提取器留待后续工作;多层引导在部分模型上会抬高困惑度;可分性与连通性反向变化的结论只针对固定层,跨层含义仍是经验性的;桥接占比偏高的分数可能反映模式分裂而非点云内部排布。
