# 自监督预训练

心电图深度学习模型多按具体诊断标签监督训练，换人群、换采集条件就容易失效。这套自监督预训练框架从918,915条无标签12导联心电记录中学习特征，一路显式刻画每条导联相对正常波形的偏离，另一路在偏离线索引导下重建跨导联关联。冻结特征提取器、不做下游微调时，它在四个公开数据集上相对此前方法AUROC最高提升6.5%、F1最高提升12.8%。

心电图深度学习模型多按具体诊断标签监督训练，换人群、换采集条件就容易失效。这套自监督预训练框架从918,915条无标签12导联心电记录中学习特征，一路显式刻画每条导联相对正常波形的偏离，另一路在偏离线索引导下重建跨导联关联。冻结特征提取器、不做下游微调时，它在四个公开数据集上相对此前方法AUROC最高提升6.5%、F1最高提升12.8%。

小鼠行为分析长期依赖逐只编码姿态的自监督模型，而攻击、求偶、骑跨、理毛等关键行为本身发生在多只之间。MICE把六个小鼠姿态数据集统一到12个关键点词表上联合预训练，用分层个体编码器刻画单鼠运动学，再用Perceiver式社交编码器通过学习到的隐码本处理任意数量的同笼个体，使一个检查点无需重训即可服务不同群体规模。在六个数据集、四种评测协议上，MICE匹配或超过此前的关键点基线，逐层探测显示社交阶段在个体编码器之上进一步提升行为可分性。

小鼠行为分析长期依赖逐只编码姿态的自监督模型，而攻击、求偶、骑跨、理毛等关键行为本身发生在多只之间。MICE把六个小鼠姿态数据集统一到12个关键点词表上联合预训练，用分层个体编码器刻画单鼠运动学，再用Perceiver式社交编码器通过学习到的隐码本处理任意数量的同笼个体，使一个检查点无需重训即可服务不同群体规模。在六个数据集、四种评测协议上，MICE匹配或超过此前的关键点基线，逐层探测显示社交阶段在个体编码器之上进一步提升行为可分性。

加密流量分类过去每换一批应用或网站标签，就要重新训练整个编码器，微调后的分数也混入了下游监督学习的效果。ProtoSPM 把双向流整理成 51 个协议字段的矩阵，用掩码重建在无标签骨干网流量上预训练，之后冻结编码器、只训练各任务的头。在 ISCX-VPN-app、TLS-120 和 CipherSpectrum 上，12.03M 参数的完整模型取得 61.29%、67.98% 和 71.28% 的宏平均 F1，比同输入、参数量接近的普通字段 Transformer 高 2.13 至 26.65 个百分点。

加密流量分类过去每换一批应用或网站标签，就要重新训练整个编码器，微调后的分数也混入了下游监督学习的效果。ProtoSPM 把双向流整理成 51 个协议字段的矩阵，用掩码重建在无标签骨干网流量上预训练，之后冻结编码器、只训练各任务的头。在 ISCX-VPN-app、TLS-120 和 CipherSpectrum 上，12.03M 参数的完整模型取得 61.29%、67.98% 和 71.28% 的宏平均 F1，比同输入、参数量接近的普通字段 Transformer 高 2.13 至 26.65 个百分点。