# 泛化界

流式联邦学习让客户端从不断到达的数据流训练共享模型，但数据流往往有时间相关性。针对客户端数据服从马尔可夫过程的情形，一项分析用信息论与率失真方法给出了聚合模型期望泛化间隙的上界，并把它专门化到线性与自注意力下一词预测。上界显示：通信轮数增多会以约√(R/N)的量级放宽泛化保证，而时间相关性以混合时间的平方根进入；TinyStories 上的 GPT 式预训练与 ETTh2 电力预测实验都观察到训练、测试损失随轮数下降而泛化间隙变宽。

流式联邦学习让客户端从不断到达的数据流训练共享模型，但数据流往往有时间相关性。针对客户端数据服从马尔可夫过程的情形，一项分析用信息论与率失真方法给出了聚合模型期望泛化间隙的上界，并把它专门化到线性与自注意力下一词预测。上界显示：通信轮数增多会以约√(R/N)的量级放宽泛化保证，而时间相关性以混合时间的平方根进入；TinyStories 上的 GPT 式预训练与 ETTh2 电力预测实验都观察到训练、测试损失随轮数下降而泛化间隙变宽。

该工作为基于Transformer的神经量子态在上下文学习（ICL）下的泛化行为建立理论框架：证明存在一种Transformer架构，其逐点预测误差（MSE）随上下文样本数与网络深度反比下降，且达到该保证所需的深度仅随系统规模（连续系统的粒子数或离散系统的qudit数）线性增长；作者进一步将分析扩展到以秩一密度算子表示的完整量子态，在连续与离散域上给出受物理约束的MSE泛化界，并用数值模拟验证了理论预测的标度行为。

该工作为基于Transformer的神经量子态在上下文学习（ICL）下的泛化行为建立理论框架：证明存在一种Transformer架构，其逐点预测误差（MSE）随上下文样本数与网络深度反比下降，且达到该保证所需的深度仅随系统规模（连续系统的粒子数或离散系统的qudit数）线性增长；作者进一步将分析扩展到以秩一密度算子表示的完整量子态，在连续与离散域上给出受物理约束的MSE泛化界，并用数值模拟验证了理论预测的标度行为。