# 大语言模型编码本与提示优化

主观类别（如“健康食品”）的边界因人、因文化而变，传统流程却要求用户一开始就给出稳定标签。Google Research 的 Agile Deliberation 把分类器构建拆成概念界定与概念迭代两步：先让用户把大概念拆成子类与明确排除项，再用视觉语言模型挑出语义上处于边界的图像请用户判断，反馈直接进入自动提示优化循环。在 18 场、每场 1.5 小时的真人会话中，参与者经此流程构建的分类器在最具挑战性的主观图像上明显优于所比较的标准基线，并报告更低的疲劳与焦虑。

主观类别（如“健康食品”）的边界因人、因文化而变，传统流程却要求用户一开始就给出稳定标签。Google Research 的 Agile Deliberation 把分类器构建拆成概念界定与概念迭代两步：先让用户把大概念拆成子类与明确排除项，再用视觉语言模型挑出语义上处于边界的图像请用户判断，反馈直接进入自动提示优化循环。在 18 场、每场 1.5 小时的真人会话中，参与者经此流程构建的分类器在最具挑战性的主观图像上明显优于所比较的标准基线，并报告更低的疲劳与焦虑。

用编码本（把理论概念映射为标签的标注指南）驱动大模型做内容分析时，聚合指标的高分可能掩盖标签级失败。研究在四个数据集、五个模型上系统扰动提示、重复运行并做跨领域迁移，发现最差标签F1与micro-F1相差约26至30个百分点，且模型更依赖标签名称而非定义。这些失败在准确率和micro-F1上看不出来，在提示优化后依然存在。

用编码本（把理论概念映射为标签的标注指南）驱动大模型做内容分析时，聚合指标的高分可能掩盖标签级失败。研究在四个数据集、五个模型上系统扰动提示、重复运行并做跨领域迁移，发现最差标签F1与micro-F1相差约26至30个百分点，且模型更依赖标签名称而非定义。这些失败在准确率和micro-F1上看不出来，在提示优化后依然存在。