同一条语义查询重跑会换答案:温度0下最多24%的行改变输出,计划把变化放大到多数结果
导语
在温度0下重跑语义查询,0.07%到10.2%的行会改变算子输出,单个任务最高24.0%,而计划会把这种变化放大到多数答案上。
正文
同一条语义查询再执行一次,答案可能不同,即使解码设为温度0。 此前语义查询引擎把一次执行当作系统的属性,认为重跑会返回同一答案,因为基准在温度0下执行查询。 在SemBench已发表的五次执行中,21%的文本结果至少有一次执行给出不同质量,包括计划确定性的引擎;在gpt-oss-120B上,Movie Q3十次执行返回4个不同的计数,质量指标从0.64到0.93。
变化是否传到答案取决于计划,而不是只取决于模型。 此前基准只报告一次执行或多次执行的均值,不记录逐行输出,也不检验比较是否稳定。 在UDA-Bench上,Llama-70B (M)只改变4.0%的抽取值,却有83/123条查询的结果表在两次执行间不同;gpt-oss-120B改变7.5%的值、68%的答案,而质量平均只变动0.031。
变化集中在接近平局的行上,一次执行的决策边际或推理长度就能标出它们。 此前把温度0下的输出差异当作均匀噪声,或当作执行级别的状态。 同一次执行内533个重复行以相同请求发出,gpt-oss-120B在6.0%的执行里给出不同输出,跨执行的成对不一致为6.1%;Granite-8B的决策边际预测后续变化的AUC为0.93,gpt-oss-120B的推理长度AUC为0.84。
重复采样能减少变化但去不掉它,记录算子输出才能让答案可复现。 此前把投票或多次执行当作消除随机性的手段,并把语义输出缓存起来复用。 平均到查询上,三次投票去掉36%的成对不一致、五次去掉48%,但没有任何两次合并执行返回相同答案;只重问首次推理最长的20%的行,以1.4次调用拿到全部投票收益的64%。
接下来
这项工作测量的是文本和表格数据上的语义查询,覆盖SemBench、LRO-Bench和UDA-Bench三个基准,通过它们各自的运行框架执行,不改动计划、提示和评分。逐行日志需要接入引擎的模型客户端,作者为LOTUS和LRO-Bench的客户端做了这件事,其他引擎只通过SemBench已发表的结果进入分析。对需要稳定答案的读者,可复现的路径是记录产生答案的算子输出,每次输出约39字节。
作者未能运行Gemini 2.5 Flash,因此逐行分析基于六个开放权重部署和两个商用模型;没有可用的模型能在温度0下同时开启和关闭推理,所以无法把推理与模型本身分开。部署效应只建立在一个模型的两个部署上。五次执行限制了可检测的最小翻转率,答案复现的分辨率为0.1;翻转率随执行次数继续增长,Granite-8B在五个Movie查询上五次执行为3.1%、四十次为5.2%。级联回放把代理分数固定在一次执行,因而低估真实级联的方差。
