# 自回归Transformer

在377万患者病历上预训练的65M参数临床基础模型FERMAT，把同一模型的两种用法放在同一批患者上比较：五年肾病、脂肪肝、糖尿病风险由患者表示预测更准，而预测同一天记录的诊断、处方和操作则由生成轨迹更准。

在377万患者病历上预训练的65M参数临床基础模型FERMAT，把同一模型的两种用法放在同一批患者上比较：五年肾病、脂肪肝、糖尿病风险由患者表示预测更准，而预测同一天记录的诊断、处方和操作则由生成轨迹更准。

Kronos 是首个面向金融K线（蜡烛图）序列的开源基础模型，训练数据来自全球45家以上交易所。通用时间序列基础模型难以应对金融数据的高噪声，Kronos 先把开盘、最高、最低、收盘与成交量等多维K线量化成层级离散词元，再用自回归 Transformer 在这些词元上预训练，从而以同一模型服务多种量化任务。发布方同时开放了不同规模的预训练权重、微调脚本和在线演示，演示页展示 BTC/USDT 未来24小时的预测。

Kronos 是首个面向金融K线（蜡烛图）序列的开源基础模型，训练数据来自全球45家以上交易所。通用时间序列基础模型难以应对金融数据的高噪声，Kronos 先把开盘、最高、最低、收盘与成交量等多维K线量化成层级离散词元，再用自回归 Transformer 在这些词元上预训练，从而以同一模型服务多种量化任务。发布方同时开放了不同规模的预训练权重、微调脚本和在线演示，演示页展示 BTC/USDT 未来24小时的预测。

该工作把量子多体动力学表述为时间序列预测问题，在可用里德堡原子阵列实现的少比特 PXP 链上，用同一复合损失训练非线性 Transformer 与线性 DLinear，输入局部磁化与连通两点关联的历史窗口以预测其后续演化；Transformer 在更遍历的区域预测准确，但随初始态接近疤痕极限而持续退化，DLinear 则在从遍历到量子多体疤痕的整个初始态族上保持准确，其主要偏差只是对整体预测误差影响很小的小幅高频振荡。

该工作把量子多体动力学表述为时间序列预测问题，在可用里德堡原子阵列实现的少比特 PXP 链上，用同一复合损失训练非线性 Transformer 与线性 DLinear，输入局部磁化与连通两点关联的历史窗口以预测其后续演化；Transformer 在更遍历的区域预测准确，但随初始态接近疤痕极限而持续退化，DLinear 则在从遍历到量子多体疤痕的整个初始态族上保持准确，其主要偏差只是对整体预测误差影响很小的小幅高频振荡。

作者提出 RRM-GPT，一个把无线资源管理决策当作语言逐字段生成的自回归框架：编码器将异构网络观测映射为统一 token，解码器按网络状态与已生成字段依次输出决策；在 5G NR 案例中，单一模型生成涵盖用户选择、时序、链路自适应、资源分配与控制信令的完整调度授权，并无需适配即把所学行为迁移到未见过场景。

作者提出 RRM-GPT，一个把无线资源管理决策当作语言逐字段生成的自回归框架：编码器将异构网络观测映射为统一 token，解码器按网络状态与已生成字段依次输出决策；在 5G NR 案例中，单一模型生成涵盖用户选择、时序、链路自适应、资源分配与控制信令的完整调度授权，并无需适配即把所学行为迁移到未见过场景。