模型答对还不够：AA-PersonalityBench用900道题给默认文风打分，8项指数排到1至100
核心概要
两个模型可以答得同样正确，用起来却感觉完全不同。AA-PersonalityBench把这种差别变成可测的量：30个性格特质各配30道题，共900道，模型在无系统提示下各答一遍，由一组大模型评审盲测两两比较，再汇总成表达力、条理性、信息量、透明度、温暖度、信念感、想象力与Slop共8项指数，另从回答中程序化提取21项沟通特征。
深度剖析
模型之间的差别不再只看答案对不对，还看默认怎么写。AA-PersonalityBench把模型的性格与沟通风格单独拿出来测量，让同样正确的两个回答在风格上可比较。 此前评价模型主要看答案是否正确，而两个模型可以给出同样正确的答案，使用感受却明显不同。 基准为30个性格特质各设30道题，共900道，每个模型在无系统提示下把900道题各答一次，以默认行为作为测量对象。
评分来自盲测的两两比较，而不是直接给单个回答打分。评审只看到特质、定义、问题和两个匿名回答，看不到模型名，也看不到推理文本。 评审面板由多个大模型评审组成，每次比较由其中一名评审判定A、B或平局，并随机化两个回答的呈现顺序以避开位置偏差。 每个特质上的比较结果拟合成Elo分，再以百分位排名和95%置信区间报告；置信区间重叠时，两个模型不算确定不同。
30个特质进一步汇总为8项性格指数，另有21项沟通特征直接从回答文本中程序化统计。 指数由特质z分数取平均得到，其中谄媚特质在透明度指数中取反；沟通特征覆盖长度、结构、标点与强调，例如加粗、斜体、表情符号、缩写和结尾提问。 在全部900道题的回答上统计，例如每个回答的平均加粗次数在所列模型中从8.7到17.2不等。
启示与展望
这套基准测量的是模型在无系统提示下的默认写法，分数描述特质表现强弱，不判断该特质是否可取，因为特质可以是正面、中性或负面，取决于主观偏好。题目以单条用户消息发送，每个模型对900道题各答一次，评审只看输出、不看推理文本。完整题目集未公开以防基准污染，每个特质只公布两道样题。
基准明确说明置信区间重叠时模型之间不算确定不同，因此部分排名差异并不构成确定区分。特质得分取决于主观偏好，基准只测表现强度而非好坏。题目集保持私密以防污染，公开的只有每个特质两道样题。