跳到主要内容
返回时间线
The Psychological Record来源发表:

大模型被规则带偏后,两句提示词把它拉回结果:六个前沿模型全部恢复对反馈的敏感

导语

在2160次会话的石头剪刀布实验中,六个前沿大模型在给出规则后都表现出对结果变化的迟钝,而在系统提示中加入两句“让结果引导决策”的追踪诱导后,这种迟钝在全部六个模型上显著减弱。

Source-provided article image: Making Large Language Models More Flexible to Changing Contingencies through Tracking Induction
Figure 1 · 第 2 页

正文

给大模型一条明确规则后,当胜负关系在游戏中途反转,模型仍会继续按原规则选择,对新的结果反馈反应迟钝。 此前已有研究在四个前沿模型上报告过这种规则导致的迟钝,本研究把模型扩展到六个,并首次检验提示词能否减轻它。 在正确规则且无诱导的条件下,Grok 4.1 Fast、GPT 5.2 和 DeepSeek V3.2 的归一化敏感度指数分别只有0.08、0.10和0.03,接近完全不敏感;Gemini 3 Flash、Kimi K2 和 Qwen3-235B 分别为0.56、0.43和0.40。

把“近期结果比早期模式更有信息量”“让你的结果引导决策”这两句直接追踪诱导写进系统提示,模型在规则存在时对结果变化的敏感度显著回升。 没有诱导时,多数模型在反转阶段的最优选择比例大幅且持续下跌;加入诱导后,这一下跌被明显削弱。 诱导的主效应在全部六个模型上显著,规则与诱导的交互也全部显著,效应量从Grok 4.1 Fast的0.09到GPT 5.2的0.28;直接追踪诱导在每一个受测模型上都有效。

实验用改版石头剪刀布把胜负概率绑在对手选择上,从而把游戏变成一项辨别学习任务。 模型每轮要同时选对手和出拳,但结果由对手决定,而不是由出拳决定。 采集阶段最优对手给出80%胜率、10%平局、10%失败,第41轮起无预警反转,共80轮;每个模型每个条件40次独立会话,六个模型合计2160次。

接下来

这项工作检验的是六个前沿大模型在改版石头剪刀布任务中的表现,每个模型每个条件40次独立会话,合计2160次;诱导是追加在系统提示中的两句话,不接触模型参数。作者提出,下一步应在更接近真实场景的任务上检验这些效应,并把人类与大模型的实验合并比较。

作者指出,受测模型都是当时各厂商最前沿的模型,结论在这一范围内成立,能力更弱的小模型可能更不敏感、也更难被诱导;研究未纳入此前被识别为对结果变化较敏感的模型,因此无法判断诱导能否让本已灵活的模型更灵活。隐喻诱导的效果因模型而异,在Kimi K2上甚至低于无诱导,作者推测这与抽象推理能力有关,但未做直接检验。

来源