同一提示词问两次,八个模型给出的结构节点集只有28%完全一致,作者自审后撤回了七项结论中的六项
核心概要
作者对“用大模型推断提示词结构”这一评测做了一次端到端自审:在八个开源模型变体(五个家族、8B至675B参数、关闭缓存、留存293份原始中间表示)上,重复相同调用得到的节点集Jaccard均值在0.39至0.96之间、72%的提示词-模型单元从未节点集完全一致;联合聚类自助法显示只有排名最末的模型稳定(99%与86%复现),中间四个仅27%至48%,前两名各68%;两种同样合理的合并规则会改动八行中的四行、使全研究头条指标移动7个百分点;可复现性也不能当作准确性;十周内八个端点中有四个被下线,该研究按原设定已无法重跑。
深度剖析
在提示词结构推断任务上,相同调用并不稳定地返回相同结构:节点集Jaccard均值从0.39到0.96,ID稳定性从0.22到0.96,127个提示词-模型单元中仅35个(28%)节点集完全一致,且合成语料中64%至100%的节点是模型被明确要求照抄的显式标注。 此前关于温度为零仍不确定性的工作多为一般性论述或面向结构化抽取,本文把这一测量具体落到提示词结构推断,并跨模型家族与参数规模给出原始输出。 八个模型变体、五个家族、8B至675B参数,关闭缓存,293份原始中间表示留存;均值带10,000次提示词重抽样的95%百分位自助区间,例如gpt-oss:120b为0.39、区间较宽,minimax-m2.7为0.70、区间同样不窄。
对排名本身做联合聚类自助法审计后,只有排名底部是稳固的:gpt-oss:120b在99%的重抽样中保持末位、qwen3-coder-next在86%中保持第七,中间四个为27%至48%,前两名各68%,因此该表能可靠指出最差的模型,却不能可靠指出最好的模型。 作者把用于评估模型的不确定性分析反过来施加于自己的排行榜,并明确说明未提出新的排名不确定性估计量,贡献在于把不确定性分析作为端到端审计的一个环节。 10,000次重抽样中9,583次可用,每次抽取一个提示词多重集并对所有模型在同一抽取上打分,以保留配对结构;作者同时说明保留频率只是自助诊断量,不是后验概率。
两种同样站得住脚的重复测量合并规则会改变八行中的四行,并使全研究头条指标移动7.1个百分点;此外稳定化判据在其端点处按构造必然满足(98个单元中48个),容差在文档中写为相对值而实现为0.05个节点的绝对值,两种读法下分别有80个和50个单元稳定。 这些失败都是在没有新增数据的情况下、通过执行敏感性比较而非断言比较被发现的,作者据此建议公布逐单元来源、执行敏感性比较、写明合并规则与每个容差的单位。 合并规则敏感性给出完整对照表(例如节点集完全一致从35/127变为26/127);稳定化部分给出两种容差读法下的完整计数,并说明数据本身无法区分这两种读法。
可复现性不能读作准确性:对293份留存中间表示的离线复核显示,标注节点ID的平均召回为0.86,而模型自标为显式的节点平均精确率为0.82,即约每五个模型声称已照抄的节点中就有一个在文件中没有对应标注;稳定性与正确性对模型的排序并不一致,四种相关性在去掉单个低异常值后都不再成立。 这把“跑两次是否一致”与“跑得对不对”明确分开,并给出一个具体后果:仅凭该表选型的人会在mistral-large-3:675b与ministral-3:8b之间选到更不准的那个。 正确性来自对已标注合成提示词的确定性解析器离线复核,无需新的推断;相关性在七个同时被两种方式测量的模型上计算,并报告了去掉低异常值后的结果。
启示与展望
这项工作面向的是使用托管端点、以几十条提示词和少量模型构建排行榜的评测者与工具构建者,适用场景是提示词结构推断这类需要先恢复提示词结构的程序式工具链。它给出的是一套程序性保障:把原始逐次输出当作主要产物、给每次测量标注日期、把排名当作有日期的文档、在排名旁报告排名稳定性、公布逐单元来源并实际执行敏感性比较。作者也说明,293份原始中间表示之所以能让漂移、稳定化与正确性分析离线重跑,是因为它们被留存下来;若只保留汇总CSV,论文中相当一部分将无法被检验。
主表是不完整、非平衡面板,各次campaign覆盖的提示词子集不同,完成失败又进一步改变每行的支撑,因此跨行原始差异是描述性的而非受控的成对效应;两行分别只建立在3条和6条提示词上,作者未对28个隐含比较做多重性校正,并建议把排序表读成“明显可复现”“明显不可复现”和“未定”三组。恢复campaign与标注campaign之间,标注状态、语料、提示词内容、模型面板与完成模式同时变化,只有四个模型同时出现在两个面板中,因此跨语料的比较是水平差异而非恢复本身的孤立效应。漂移分解中的元数据桶只测量逐节点元数据分歧,因为中间表示本身是扁平节点列表。可访问性结论已被作者撤回,超时是主要嫌疑但原因未解,且历史失败未能复现。此外,本文所依据的文本是完整正文,但表格中的部分区间数值在正文中以区间形式给出而未逐一列出具体端点,若需精确数值仍需查阅原表。
