# UniPipe统一推理服务与微调系统

面向必须在硬截止时间内处理传感器数据的科学工作流，UniPipe把深度神经网络代理模型的推理服务与在线微调放进同一块边缘GPU上的同一个CUDA上下文，用一次前向同时处理推理请求和带标签样本，只对标签子集做反向传播。在真实叠层成像重建流程与PtychoNN上，它相对冻结的预训练基线降低推理与重建均方误差，相对双上下文并发基线降低截止时间错过率，并把95百分位延迟相对均值的离散度缩小近一半。

面向必须在硬截止时间内处理传感器数据的科学工作流，UniPipe把深度神经网络代理模型的推理服务与在线微调放进同一块边缘GPU上的同一个CUDA上下文，用一次前向同时处理推理请求和带标签样本，只对标签子集做反向传播。在真实叠层成像重建流程与PtychoNN上，它相对冻结的预训练基线降低推理与重建均方误差，相对双上下文并发基线降低截止时间错过率，并把95百分位延迟相对均值的离散度缩小近一半。