蜂群的“集体心智”可写成单个强化学习智能体:盲目模仿的摇摆舞,等价于并行采样的多臂老虎机学习
核心概要
蜂群选巢时,个体只按邻居摇摆舞的强度盲目改换立场,这种局部模仿在群体层面被证明等价于一个在线强化学习智能体在解多臂老虎机。该宏观智能体按新命名的Maynard-Cross Learning规则更新各巢址的概率,每只侦察蜂相当于一次并行的动作—回报采样。推导针对加权投票者模型这一简化描述,模拟显示约500只侦察蜂即可贴近该宏观动力学并收敛到最优巢址。
蜂群选巢时,个体只按邻居摇摆舞的强度盲目改换立场,这种局部模仿在群体层面被证明等价于一个在线强化学习智能体在解多臂老虎机。该宏观智能体按新命名的Maynard-Cross Learning规则更新各巢址的概率,每只侦察蜂相当于一次并行的动作—回报采样。推导针对加权投票者模型这一简化描述,模拟显示约500只侦察蜂即可贴近该宏观动力学并收敛到最优巢址。
蜂群层面的决策可以不再被当作纯粹的涌现现象,而能写成一个标准的多臂老虎机学习过程:群体在各巢址上的比例分布就是智能体的动作概率,个体采到的巢址质量估计就是回报样本。 此前,模仿成功与加权投票者这两类集体决策模型只被表述为复制者动力学,个体层面的试错学习与群体层面的模仿被当作两种彼此独立的收敛机制。 把模仿成功模型聚合得到的Taylor复制者动力学与Cross Learning的期望更新逐项对照,两者在群体向量与策略向量同一记号下形式一致,由此给出模仿成功等价于精确Cross Learning的命题。
加权投票者模型聚合出的更新规则被命名为Maynard-Cross Learning,它对应Maynard-Smith复制者动力学,因此只做盲目模仿的侦察蜂群体在宏观上执行的是一个强化学习算法。 加权投票者模型只要求个体广播自己巢址的强度、并改投邻域中第一个遇到的类型,个体本身不被建模为学习者,也不比较彼此的质量估计。 在种群充分混合、邻域规模远大于1的假设下,把单只蜂对群体流入流出的影响写成一次策略更新,其学习率等于蜂群规模的倒数,对所有个体求和即得到Maynard-Smith复制者动力学。
蜂群不只是等价于一个学习智能体,还等价于在大量并行环境上采样的智能体,因为每只侦察蜂都是策略的一次独立动作采样。 若单个智能体以流式方式自行学习,需要很小的学习率才能收敛到最优选项;蜂群则以侦察蜂数量作为并行的环境副本数。 在10个选项、质量散布于0到1、估计噪声为幅度0.2的均匀扰动的简化模拟中,1000个随机种子下约500只侦察蜂已足以贴近宏观动力学并收敛到最优巢址,侦察蜂过少则常收敛到次优巢址。
结论的适用范围是加权投票者模型这一对蜜蜂选巢的简化描述:种群充分混合、邻域规模远大于1、个体只做盲目模仿。读者对象是研究群体智能、演化博弈与强化学习交叉问题的研究人员和群体机器人设计者。模拟中侦察蜂数量与邻域规模的结论被说明为定性而非定量,参数选取带有任意性。
加权投票者模型只是真实蜜蜂选巢行为的部分描述,自发承诺、停止信号、直接改投与法定人数感知等过程均未纳入,因此Maynard-Cross Learning不是该生物过程的完整刻画。纯模仿在有限种群中可能让某一类型彻底消失,在非平稳环境中也缺少持续探索的机制。空间结构与个体异质性同样未建模。