流式联邦学习多通信反而更易过拟合：马尔可夫数据下泛化界随轮数按√R增长
核心概要
流式联邦学习让客户端从不断到达的数据流训练共享模型，但数据流往往有时间相关性。针对客户端数据服从马尔可夫过程的情形，一项分析用信息论与率失真方法给出了聚合模型期望泛化间隙的上界，并把它专门化到线性与自注意力下一词预测。上界显示：通信轮数增多会以约√(R/N)的量级放宽泛化保证，而时间相关性以混合时间的平方根进入；TinyStories 上的 GPT 式预训练与 ETTh2 电力预测实验都观察到训练、测试损失随轮数下降而泛化间隙变宽。
深度剖析
流式联邦学习里，更频繁的服务器聚合可能让最终聚合模型的泛化保证变差，而不只是影响优化速度。 此前的联邦学习分析主要关注收敛与优化误差，且已有工作只在独立同分布数据流上讨论过通信与泛化的关系。 在固定每客户端总梯度步预算、只改变通信轮数 R 的 TinyStories GPT 式解码器预训练中，训练损失与测试损失都随 R 增大而下降，但两者之差随 R 增大而变宽，K 取 2、4、8 时均如此；ETTh2 电力变压器序列上的 GRU 下一词预测复现了同一图景。
时间相关性以混合时间的平方根进入泛化间隙，慢混合的数据流相当于减少了有效独立样本。 独立同分布设定下不存在这一项，样本每一步都提供最大的独立信息。 在客户端同质混合、每客户端 N 条长度 T 轨迹、R 轮通信、字典维度 d、上下文长度 ρ 的设定下，线性与自注意力下一词预测的界都含 √τ_min 因子，其中 τ_min 由各客户端混合时间定义。
在总数据预算相同的条件下，分布式流式学习的泛化间隙界比集中式流式学习好一个约 √(log K/K) 的因子。 把客户端数 K 设为 1、每客户端轨迹数换成 NK，即得到集中式下一词预测的对应界。 该比较对线性与自注意力两种下一词预测都成立，且是在相同总数据预算下比较两个界，而非比较实测测试误差。
把分析对象从单个观测换成历史状态过程，可以在混合条件合适时去掉上下文长度的显式惩罚。 直接对观测序列做集中不等式时，上下文长度 ρ 以显式因子出现在界中。 当历史状态过程的混合时间参数满足给定不等式时，精化后的界严格更紧；在边际损失下，精化界去掉了 ρ+1 因子。
启示与展望
分析针对客户端数据由有限记忆马尔可夫过程生成、服务器按 FedAvg 做算术平均的流式联邦学习设定，结论以期望泛化间隙的上界形式给出；实验覆盖 TinyStories 上的 GPT 式解码器预训练，以及 ETTh2、ETTh1 与北京多站点空气质量数据上的下一词预测。
作者明确指出，泛化间隙上的优势不一定转化为总体风险或测试风险上的优势，并同时报告了训练与测试误差；实验规模有限，TinyStories 只保留 8% 训练集，模型约 2500 万参数。