语言模型能同时守住多少条指令：GPT-4o mini在95%正确率下约37–38条
核心概要
语言模型执行指令的质量随负载下降，但此前没有以负载为单位、带不确定度的容量数值。一种测量工具把负载定义为“单词替换规则”，让每次替换成为可程序判定的伯努利试验，再用分箱加平滑律的统计模型反解容量。对GPT-4o mini的2958次请求、642430次试验测得：在95%正确替换率下容量约37–38条规则，在满替换密度下约18–19条。
深度剖析
指令负载现在可以用一个带不确定度的数来表达：模型在给定正确率下能同时守住多少条规则。 此前的研究只能报告在作者选定的若干负载点上完成了多少条指令，负载点由实验者挑选，不同工作的数字无法直接比较。 在GPT-4o mini上，2958次请求、642430次试验覆盖1到256条规则、20到10240词的文本，每个负载因子的分箱曲线都呈现可由少量参数描述的规则形状。
负载由替换单词的规则构成，每条规则只作用于一个单词，规则之间在任务构造上互不牵连。 已有基准中，形式要求共享同一段文本、复合约束由评审模型判定，指令数量与任务难度混在一起。 文本由固定词表中的单token名词组成、不含意义，参考答案由程序一次替换生成，答案逐行对齐后每个待替换词的位置和规则编号都已知。
统计模型先不预设函数形式，用对数分箱测出每个负载轴的影响形状，再用平滑律拟合，并通过近似平移校正恢复不依赖编码选择的参考水平。 常规分箱模型需要一个参考箱，水平值随参考箱的选取而变，容量因此不可比。 五个轴（文本长度、词位置、替换密度、规则数、规则编号）的相关系数最高为0.76，长度与位置合并为二维网格后各切片共用同一条斜渐近线。
答案崩溃与指令容量是两个不同的极限：崩溃由文本负载和答案推进程度决定，与同时持有的规则数无关。 规则数翻倍会让单次替换的对数几率下降约0.43，但在长度和密度固定时并不改变丢失文本的概率。 2958次请求中有995次丢失文本，占33.6%；文本长度每翻倍使崩溃的对数几率增加约2.4，而规则数分箱的系数落在零的1个对数几率以内。
启示与展望
已演示的范围是GPT-4o mini（gpt-4o-mini-2024-07-18）在固定协议版本0.1下的护照：温度为零、种子固定、答案上限16384 token，文本长度20到10240词、规则数1到256。容量数值指零负载点，即短文本开头、稀疏替换的状态；更长文本、更靠后的词位置和更高替换密度会消耗同一份储备。
作者明确说明，为GPT-4o mini建立的规律没有理由假定具有普适性，更大或不同架构的模型可能出现极值、幂律替代对数律，甚至显著轴集合改变。文中对体积极限、位置极限、密度饱和和崩溃机制给出的解释均为待单独实验检验的假设，工具测的是依赖形状而非成因。