跳到主要内容
返回时间线
arXiv来源发表:

让AI智能体替人开政策会:746名参与者中,满意度补回单模型基线与亲身参与差距的68%

核心概要

AI安全政策需要吸纳多元意见,但公众难以直接参与每一场讨论。研究构建“多元智能体”,让每个AI智能体先访谈所代表的人,再在多智能体讨论中为其发声,由政策撰写智能体逐轮起草并修订预算方案。预注册实验中746名参与者认为这一流程优于把意见交给单一推理模型,在满意度上补回单模型基线与亲身参与之间差距的68%,在程序公正上补回82%。

Source-provided article image: Scaling public input on AI policy with pluralistic agents
arXiv

深度剖析

AI安全政策讨论多由政策专家与AI智能体在小范围内完成,普通人的视角很难进入;多元智能体把每个参与者交给一个替其发声的AI智能体,让更多人被代表进同一场讨论。 此前的AI辅助审议系统能扩大意见吞吐量,但每一份意见仍需由人在需要时当场提供;多元智能体让智能体代替本人出席讨论。 预注册实验中746名参与者依次经历亲身讨论、多元智能体和单一AI三种流程,多元智能体在四项结果上都高于单一AI基线。

参与者对多元智能体的评价高于把意见交给单一推理模型,但低于自己亲身参与讨论。 在1到10的满意度评分上,亲身讨论平均7.6,多元智能体6.9,单一AI为6.1。 多元智能体在满意度上补回单一AI基线与亲身讨论之间差距的68%,在程序公正上补回82%,后者与100%无显著差异。

智能体替人发声的效果取决于人如何指示它,而不只取决于底层模型。 在5947场模拟人格讨论中,被指示更啰嗦或更不合作的智能体对最终政策影响更大,发言顺序靠后也增加影响。 六项因素中五项显著,分析性风格是唯一不显著的因素;在单一Gemini模型家族的平行实验中,这五项因素同样显著。

启示与展望

结果来自概念验证:人类实验使用四选一的预算分配任务和六类AI安全议题,参与者为通过Prolific招募、按美国人口配额抽取的样本;模拟人格实验的人格生成方式不针对任何特定真实人群。作者提出后续可在更精确的模拟人群、更丰富的讨论形式和更多人群上继续检验。

作者指出,智能体影响力对“更啰嗦”“更不合作”等指示敏感,若参与者知道这一杠杆,恶意行为者可能借此获得不当影响,80%的参与者对此表示中度或极度担忧;亲身讨论与多元智能体之间的满意度差距,用所测的代表准确性和“是否说了本人不会说的话”几乎无法解释。