小鼠行为基础模型MICE一次预训练覆盖1到4只同笼:社交阶段让多鼠行为更可分
核心概要
小鼠行为分析长期依赖逐只编码姿态的自监督模型,而攻击、求偶、骑跨、理毛等关键行为本身发生在多只之间。MICE把六个小鼠姿态数据集统一到12个关键点词表上联合预训练,用分层个体编码器刻画单鼠运动学,再用Perceiver式社交编码器通过学习到的隐码本处理任意数量的同笼个体,使一个检查点无需重训即可服务不同群体规模。在六个数据集、四种评测协议上,MICE匹配或超过此前的关键点基线,逐层探测显示社交阶段在个体编码器之上进一步提升行为可分性。
深度剖析
一个检查点现在可以同时处理1到4只同笼小鼠的行为识别,而不必为每种群体规模单独训练模型。 此前的自监督姿态模型要么把每只动物独立编码、丢掉互动信号,要么在训练时写死动物数量,并且一次只在一个数据集上预训练。 在覆盖六个数据集、四种评测协议的线性探测中,MICE在单数据集与联合预训练两种设置下都匹配或超过BAMS、PointNet、TBERT和hBehaveMAE,差距在多鼠数据集MABe22和AdaptableSnail上最大。
模型先把每只小鼠的运动学单独编码,再让一组学习到的隐码在个体之间交换信息,从而得到带互动上下文的表示。 个体编码器用随深度线性变宽的注意力窗口,在短、中、长三个时间尺度上读取单鼠姿态;社交编码器采用Perceiver式结构,用固定数量的隐槽读取在场的任意多只小鼠,再把精炼后的隐码回写给每只动物。 六个数据集共约220万训练帧,原生骨架从7到27个关键点,经同义词匹配映射到统一的12关键点词表,缺失关键点补零并在相关特征中屏蔽。
启示与展望
已展示的范围是俯视拍摄的小鼠姿态关键点数据,六个数据集覆盖1到4只同笼、7到27个原生关键点,评测限于线性探测、无监督分割、跨数据集迁移和少样本标签效率四类协议。
同义词对齐为人工整理,新骨架需手工扩展;数据仅限俯视小鼠,自下而上与三维数据尚未测试;预训练语料相对视觉或语言基础模型仍然很小,规模律研究留待后续;行为标签集较粗,低于当前标注分辨率的习性细节需要新的基准。
