提示词写得越细,模型未必越好:四个大模型生成安全帽分类器,最详细的一档让两个模型准确率跌到0.58
让ChatGPT、Claude、Gemini和Grok按三档由粗到细的提示词生成PyTorch安全帽佩戴分类训练脚本,在972张平衡图像上各跑20次:十二个配置中十个收敛到0.957至0.967的准确率平台,但最详细的第三档让Gemini和Grok跌到约0.58,脚本仍能运行却不收敛。对照消融显示,从零训练的多尺度卷积结构在两种学习率调度下都失败,而预训练ResNet18骨干在两种调度下都收敛。
让ChatGPT、Claude、Gemini和Grok按三档由粗到细的提示词生成PyTorch安全帽佩戴分类训练脚本,在972张平衡图像上各跑20次:十二个配置中十个收敛到0.957至0.967的准确率平台,但最详细的第三档让Gemini和Grok跌到约0.58,脚本仍能运行却不收敛。对照消融显示,从零训练的多尺度卷积结构在两种学习率调度下都失败,而预训练ResNet18骨干在两种调度下都收敛。
推理模型在思维链里早早写出代码草稿,SecReason在草稿交付前扫描流式token并插入警告,让模型在同一条推理轨迹内改稿,把既安全又通过功能测试的运行比例从不足15%提高到72.8%–98.1%。
量子程序由概率输出和领域专用检查器判定对错,因此一段语法正确的测试仍可能与基准结论相反。QTestBench 让模型为每个任务生成语法、语义、行为三类 pytest 测试,再注入候选解,用基准自带的检查器而非测试本身作为真值,在三个验证队列中比较测试判定与检查器标签。五个模型在八个 PennyLane QHack 挑战和十个 Qiskit HumanEval 任务上生成的测试几乎都能执行,但判别力明显落后:QHack 上最佳测试质量 0.71,Qiskit 上仅 0.34,说明可执行性会高估测试质量。
代码智能体常把没写清的需求按自己的假设补全,生成看似正确、行为却非用户本意的代码,而事后纠正代价越来越高。CONTRA把澄清拆成两步:先广泛生成候选问题,再用语义过滤和双答案程序执行对比,只留下会稳定改变行为的提问,并结合交互历史决定继续问还是停止。在ClarifyCodeBench上,它与四个代码智能体配合取得最高F1,宏平均比最佳基线高13.88个百分点。
该工作提出“动态上下文适配”:一个由验证智能体从执行轨迹中提取结构化诊断反馈、生成智能体每轮提出多个候选、并以知识图谱提供语义约束、以模拟退火进行非贪心选择的验证—生成循环,用于缓解其称为“静态绑定”的LLM代码生成局限;在八个问题中,该方法在300与600次评估时于七个问题上优于零样本、Reflexion与OpenEvolve(p<0.01),在1000次评估时于主要动机问题(跨耦合优化)取得最佳分数(0.694 对 0.681,p=0.019,d=0.52),消融显示结构化执行反馈是主要驱动因素。
已读完全部报道