DoLa换用注意力信号选层：LLaMA-7B的MC2升至62.8%，但大模型MC1仍归DoLa
核心概要
对比解码DoLa靠输出词表分布的差异挑选浅层，Sakai等把选层信号换成自注意力分布，提出Attention-JSD、Attention-Entropy-Max与Attention-Entropy-Min三种策略，并保持DoLa框架不变。在TruthfulQA上，LLaMA-7B用Attn-Ent-Min取得MC2 62.8%、MC3 36.5%，高于DoLa的56.5%和30.5%；但LLaMA-33B与65B上DoLa的MC1仍最高，增益集中在多正确答案指标。
深度剖析
对比解码选哪一层做对照，现在可以由模型内部的注意力分布决定，而不只看输出词表的概率差。 DoLa在每个词元上挑选与最后一层输出分布Jensen–Shannon散度最大的浅层，这一判据不直接使用注意力携带的结构信息。 在TruthfulQA上，LLaMA-7B用Attn-Ent-Min得到MC2 62.8%、MC3 36.5%，DoLa为56.5%和30.5%；LLaMA-13B上Attn-JSD在MC1、MC2、MC3三项均为最好。
三种策略都先把各注意力头在当前位置对历史词元的权重取平均，得到一条归一化的注意力分布，再用它给候选浅层排序。 Attention-JSD取与最后一层注意力分布散度最大的层，Attention-Entropy-Max取注意力熵最大的层，Attention-Entropy-Min取熵最小的层，熵衡量注意力铺开的宽窄。 实验覆盖LLaMA-7B、13B、33B、65B与Gemma-7B、Mistral-7B六个模型，其中LLaMA-33B和65B以int8量化运行；候选层沿用DoLa的分桶，桶由验证集选定。
注意力选层与DoLa答对的题目并不重合，二者在LLaMA-33B上呈现互补的得分形态。 DoLa的MC1最高而注意力方法在MC2、MC3略高，样本层面DoLa与Attn-Ent-Max同时答对的只有150题。 LLaMA-33B上DoLa的top margin为14.8、正确选项得分标准差为31.3，Attn-Ent-Max分别为8.5和17.5，对应更集中与更平坦的两种分布。
启示与展望
评测集中在TruthfulQA与FACTOR的多项选择设定，FACTOR只取Wiki与News两个子集；六个主模型为LLaMA-7B、13B、33B、65B与Gemma-7B、Mistral-7B，其中两个大模型以int8量化运行。作者把自由形式生成下的验证与候选层桶的自动选择列为后续工作。
候选浅层桶仍需事先用验证集选定，尚未做到完全自动；某些注意力头为何更利于事实召回，其机制尚未阐明；在Gemma-2-2B等模型上，对比解码相对基线出现下降。