DoLa换用注意力信号选层:LLaMA-7B的MC2升至62.8%,但大模型MC1仍归DoLa
对比解码DoLa靠输出词表分布的差异挑选浅层,Sakai等把选层信号换成自注意力分布,提出Attention-JSD、Attention-Entropy-Max与Attention-Entropy-Min三种策略,并保持DoLa框架不变。在TruthfulQA上,LLaMA-7B用Attn-Ent-Min取得MC2 62.8%、MC3 36.5%,高于DoLa的56.5%和30.5%;但LLaMA-33B与65B上DoLa的MC1仍最高,增益集中在多正确答案指标。