标注前先聊一段经历:微叙事让同一批帖子被读得更分歧,而不是更一致
核心概要
在标注开始前用情景小故事和一段轴引导对话唤起标注者的亲身经历,并把它合成第一人称微叙事交还本人,104名标注者对30条歧义仇恨言论的标注中,身份共鸣与伤害敏感度上升,标签熵升高、标注者间一致性下降。
深度剖析
标注流程多了一个前置阶段:标注者先读一段与其任务主题匹配的情景小故事,再与一个对话式引导器交谈,谈完后拿到一段第一人称微叙事,标注时随时可以打开。 此前亲身经历通常只在招募时以人口统计勾选项的形式记录一次,被当作固定协变量,而界面又要求标注者按定义一致地套用规则,把自身经历当作需要压制的偏差。 在Prolific上以2×2被试间设计比较唤起与匹配对照、有亲身经历与无亲身经历筛选两个因素,104名标注者对30条歧义仇恨言论共产生1,040条标注。
唤起让标注者更强烈地感到内容与自身相关,也给出更严厉的伤害判断,同时把标签分布拉得更散而不是收拢。 对照条件下身份共鸣均值为2.94、伤害评分为2.78,唤起条件下分别为3.35和2.78以上,且逐条看30条中有25条共鸣更高、25条伤害更高、20条两者同时更高。 逐条香农熵在唤起下为2.05比特、对照为1.88比特,30条中20条更高;合并的序数Krippendorff α从对照的0.111降到唤起的0.066,场景B和C方向一致。
唤起改变的是标注者援引什么作为判断依据,从字面文本转向自身处境化知识,而他们下判断的确定程度几乎不变。 对照条件下处境化依据占理由的20.8%、仅诉诸字面措辞占40.8%,唤起条件下分别为50.8%和12.5%,而坚持单一读法的比例从64.2%变为70.8%,承认多重读法的比例两臂同为16.7%。 对24名参与者分层子样本的276个单元做反身性主题分析,其中240条理由、12份唤起对话记录和24份反身性回答,编码者对核心构念的一致性接近完美。
未被筛选出相关亲身经历的标注者,在唤起后援引亲身经历轴的比例大幅上升,而且援引的往往不是筛选器测的那一条轴。 非亲身经历组援引轴的比例从对照的10.0%升到唤起的48.3%,亲身经历组从36.7%升到56.7%,增量主要由社会文化与地理轴承担,该轴从全部理由的4.2%升到25.8%。 场景C中未被筛选出相关经历的参与者把判断依据放在阶级和地域成长背景而非性别上,说明单一轴筛选器无法定位对某个标注者真正活跃的那条轴。
启示与展望
这则报道面向构建主观标注数据集的研究者与工程师,覆盖的是在Prolific上以2×2被试间设计完成的初步研究:104名标注者、30条合成歧义仇恨言论、1,040条标注,外加对24名参与者276个单元的质性分析。语料按四条标准构造,要求表层可否认、经历会带来分歧、嵌入排外话语框架且不含显式贬损,因此不是仇恨言论的随机样本,而是最难案例的集中,效应量应读作上界。作者提出可在同一领域内对同一标注者复用微叙事,把一次性开销摊到数百条条目上,但这一复用尚未在研究中实测。
作者把这项研究定位为初步工作:设计比较的是60人对44人、30条合成条目,单元格不平衡,104人中有56人落在场景A,领域层面比较功效不足,次级分析未做多重比较校正。亲身经历由Prolific筛选器粗粒度操作化,每个场景只测一条轴,非亲身经历组的结果对这一假设最敏感。身份共鸣由知道研究涉及亲身经历的那一臂自报,部分增益可能来自需求特征,但伤害与熵的结果不依赖自报。唤起由模型中介,微叙事可能把标注者对齐到模型对其经历的转述而非经历本身,保真编码只能界定而无法消除这一风险;12份对话记录中有5份叙事含至少一处无依据的推进,6份对话多为简短笼统的回答,2份陷入修复循环未能恢复。参与者为英语流利的北美居民,语料中编码的话语模式属于英语语境。
