# 神经缩放定律

SIM把MRI重建的训练数据来源从临床采集的原始k空间换成按多线圈成像物理规律生成的仿真样本，并用通用Transformer把数据量和模型容量一起放大。在14个公开与自建数据集上，它跨7个中心、5家厂商、0.3至7 T场强和十余种采集协议做零样本重建，PSNR比次优方法高1.06至3.95 dB；在150例盲法阅片中，SIM在某一加速倍数下诊断可用性达到100%，该倍数在原文中未给出。

SIM把MRI重建的训练数据来源从临床采集的原始k空间换成按多线圈成像物理规律生成的仿真样本，并用通用Transformer把数据量和模型容量一起放大。在14个公开与自建数据集上，它跨7个中心、5家厂商、0.3至7 T场强和十余种采集协议做零样本重建，PSNR比次优方法高1.06至3.95 dB；在150例盲法阅片中，SIM在某一加速倍数下诊断可用性达到100%，该倍数在原文中未给出。

经典神经缩放定律把超额风险写成容量与数据规模的幂律，并假定最优算力分配指数在各尺度上不变。该分析用Mellin–Barnes围道积分把容量轴上的有限尺度偏离拆成三项展开，用KKT对偶把多域混合化为标量注水，并证明分配指数随容量与数据指数方差成比例漂移。在45组算子谱、Pythia、Chinchilla的245次运行与RegMix的17个域上，估计器给出留出误差并降低高算力分配遗憾。

经典神经缩放定律把超额风险写成容量与数据规模的幂律，并假定最优算力分配指数在各尺度上不变。该分析用Mellin–Barnes围道积分把容量轴上的有限尺度偏离拆成三项展开，用KKT对偶把多域混合化为标量注水，并证明分配指数随容量与数据指数方差成比例漂移。在45组算子谱、Pythia、Chinchilla的245次运行与RegMix的17个域上，估计器给出留出误差并降低高算力分配遗憾。

该研究在受控的上下文学习任务中比较线性与非线性注意力，发现非线性注意力能选择性聚焦相关词元，使强、弱谱方向并行学习，损失随深度呈反比衰减，而线性注意力的深度缩放依赖数据谱并很快进入平台。

该研究在受控的上下文学习任务中比较线性与非线性注意力，发现非线性注意力能选择性聚焦相关词元，使强、弱谱方向并行学习，损失随深度呈反比衰减，而线性注意力的深度缩放依赖数据谱并很快进入平台。

该工作以 prelude–core–coda 循环 Transformer 为统一框架，在 FineWeb 上为每种架构单独拟合计算最优配方并训练到约 10²⁰ FLOPs 的缩放阶梯，发现模型生长（训练中途增加核心遍数）与边界算子（归一化残差流并重新注入 prelude 输出）能改变预训练的缩放指数，使计算效率优势随规模扩大，而权重解绑只改变常数；在数据受限的多轮训练中，最优循环次数随计算量增长，扩大循环次数比扩大模型规模更省算力。

该工作以 prelude–core–coda 循环 Transformer 为统一框架，在 FineWeb 上为每种架构单独拟合计算最优配方并训练到约 10²⁰ FLOPs 的缩放阶梯，发现模型生长（训练中途增加核心遍数）与边界算子（归一化残差流并重新注入 prelude 输出）能改变预训练的缩放指数，使计算效率优势随规模扩大，而权重解绑只改变常数；在数据受限的多轮训练中，最优循环次数随计算量增长，扩大循环次数比扩大模型规模更省算力。