同一套自监督预训练，轴承故障分类宏F1从0.350升到0.812，剩余寿命预测却没能超过从零训练
核心概要
在47个统一张量契约的公开PHM数据集上，一个80万参数、按通道独立处理的Transformer编码器用掩码片段预测做自监督预训练，在完全留出的CWRU轴承故障分类上把宏F1从0.350提到0.812，HSG18硬盘数据从0.569提到0.951，冻结编码器加一层线性探测已达0.705和0.906；但同一套预训练在CMAPSS剩余寿命估计上不能可靠超过从零训练基线。改为十个按物理域分组的客户端做联邦模拟后，等预算下分类仍落后集中式编码器，且自监督损失不能用来挑选检查点。
深度剖析
多数据集自监督预训练能迁移到工业故障分类，增益主要来自预训练表征本身，而不是微调多出来的优化。 此前PHM模型多按单个数据集、单个任务设计并评估，难以判断收益来自可迁移的归纳偏置还是对某一受控环境的专门化。 在完全未参与预训练的CWRU上，集中式编码器把宏F1从0.350提到0.812，HSG18从0.569提到0.951；仅冻结编码器加一层线性探测就已达0.705和0.906。
同样的预训练在剩余寿命估计上没有可靠收益，结论还取决于采用哪种误差度量。 按协议在验证集上选模型时，最佳检查点FedAvgM的测试RMSE为44.04，与集中式10万步检查点的44.16在统计上不可区分，而从零训练基线测试RMSE为43.67。 在CMAPSS上，集中式编码器全量微调的测试RMSE为44.33，比从零基线差0.65个周期；同一单种子比较在CMAPSS自带的非对称评分下方向相反，全量微调为645,389，从零基线为754,754，该评分对高估剩余寿命的晚期预测惩罚更重。
联邦模拟预训练保留了部分表征，但在等预算下没有追平集中式编码器。 集中式25k步检查点与联邦检查点在四个成对比较中全部领先，CWRU上领先16.2个宏F1点，HSG18上领先15.5个点。 两个训练臂固定了架构、目标、源数据和本地优化步数，但集中式臂用的是为10万步设计的余弦调度在第25k步的快照，联邦臂用恒定学习率，这一不匹配有利于集中式臂，且每个训练臂只有一次预训练运行。
自监督重建损失不能作为挑选预训练检查点的依据。 集中式编码器的验证重建损失为0.3467，不到联邦臂0.7844的一半，但这一差距在CMAPSS下游任务上没有对应体现。 扫描FedAvgM的服务器动量时，自监督验证损失只在0.021的带宽内变化，而下游验证宏F1在CWRU上变化0.21、在HSG18上变化0.29。
启示与展望
结论建立在47个统一张量契约的公开PHM数据集上，其中36个仅用于预训练、11个完全留出；下游多种子评估覆盖CWRU、HSG18和CMAPSS三个任务，编码器为80万参数，作者明确不对规模作任何声称。
集中式25k检查点与联邦臂在优化器调度上不一致，作者称分类比较应读作联邦代价的上界；每个训练臂只有一次预训练运行，三个种子只变化下游适配；从零基线只用一个学习率且单种子，作者称其为下界；CMAPSS使用步长5的因果窗口且每个窗口都被填充，与预训练契约不同；CWRU测试集缺少四个故障类中的一个，宏F1只在三类上平均。