立场检测的提示词不再整段重写:拆成六个模块逐个改,错误按标签分流后四个骨干上平均分更高
核心概要
立场检测的提示词优化改成按功能拆成六个模块逐个改写,错误反馈按金标标签分流,在 SemEval-2016 上五个开源权重模型里有四个的平均 Macro-F1 高于把错误混在一起的做法。
深度剖析
立场检测的提示词不再当作一整段文字来改写,而是拆成任务定义、准则、支持定义、反对定义、中立定义和输出格式六个功能模块,按固定顺序逐个更新。 此前的自动提示词优化大多面向通用任务,没有围绕立场标签的类别结构来组织,准则、标签定义和输出约束在优化中承担的角色并不区分。 在 SemEval-2016 上,模块化优化在五个骨干模型中的四个上平均 Macro-F1 高于整段提示词优化,Mistral 上的差距最大,为 3.49 分。
错误反馈按金标标签分流:支持定义只吃金标为支持的错例,反对定义只吃金标为反对的错例,准则模块则汇总三类错误。 把三类错误混在一起抽样时,每个标签模块拿到的信号被其他类别的错误稀释。 在 SemEval-2016 上,类别条件分流在五个骨干中的四个上平均 Macro-F1 更高,Phi 高 3.40、GPT-OSS 高 1.05、Mistral 高 4.99、Gemma 高 2.21,Llama 低 0.15。
优化过程不更新模型参数,只改提示词文本,推理时用选中的提示词直接分类。 微调路线需要更新权重,而提示词优化把改动留在文本层面。 实验覆盖 SemEval-2016、GunStance、COVID-19-Stance 和新建的 VaccineStance 四个数据集,以及 Phi-4-14B、GPT-OSS-20B、Mistral-Small-3.2-24B、Gemma-3-27B、Llama-3.3-70B 五个开源权重模型。
启示与展望
这套方法在四个立场检测数据集和五个开源权重模型上做了评估,优化过程不更新模型权重,选中的提示词在推理阶段不需要额外的优化调用。它面向的是需要立场分类的社交媒体分析场景,例如错误信息识别、政治舆论分析和公共卫生监测。VaccineStance 由 2013 至 2022 年间的疫苗相关帖子构成,含 500 条训练、500 条验证和 1000 条测试实例,由三名标注者独立标注。
优化轨迹显示多数模型在早期迭代就有提升,后期增益变小且波动更大,VaccineStance 上还出现骤降后回升。I+R 与 I+R+E 两种推理策略的相对效果随模型和数据集变化,没有一种配置在所有设置中更好。冻结模块消融显示各模块的贡献随骨干模型差异很大,输出格式模块冻结后甚至对 Gemma 和 Llama 略有提升。外部推理器 GPT-5 在 20 个数据集与模型组合中的 17 个带来提升,但 Mistral 在 SemEval 上下降 5.82 分。作者还指出,方法对其他 NLP 任务的泛化性尚未探索,优化后的提示词依赖模型和领域,固定模块结构面向三类标签,扩展到更大标签空间仍是未来工作,且基于 API 的模型更新可能影响可复现性。
