UniPipe把推理与微调放进同一CUDA上下文：叠层成像流上错过率贴近只做推理的部署
核心概要
面向必须在硬截止时间内处理传感器数据的科学工作流，UniPipe把深度神经网络代理模型的推理服务与在线微调放进同一块边缘GPU上的同一个CUDA上下文，用一次前向同时处理推理请求和带标签样本，只对标签子集做反向传播。在真实叠层成像重建流程与PtychoNN上，它相对冻结的预训练基线降低推理与重建均方误差，相对双上下文并发基线降低截止时间错过率，并把95百分位延迟相对均值的离散度缩小近一半。
深度剖析
边缘GPU上的代理模型现在可以在持续微调的同时守住每条数据的硬截止时间，而不必在精度和延迟稳定性之间二选一。 此前的部署要么冻结预训练代理模型，让误差在训练时未充分覆盖的区域持续扩大；要么在另一个CUDA上下文里并发微调，两个上下文争抢流式多处理器、内存带宽和内核启动队列。 在真实叠层成像重建流程上，双上下文并发把每样本推理延迟的均值和波动同时抬高，错过率随数据到达率单调扩大；UniPipe的错过率在整个扫描范围内贴近只做推理的预训练基线。
推理与微调共用一次前向传播，带标签样本只在反向传播阶段单独处理。 朴素做法把推理批次和训练批次分开跑，前向计算重复，小批次还会让GPU利用不足。 每个批次混合未标注的推理请求和由经典求解器产出真值的带标签样本，前向一次覆盖整批，输出切片后未标注部分直接作为推理结果返回，带标签部分进入损失和反向传播；在PtychoNN上，前向与反向延迟曲线在饱和拐点前近乎平坦，调度器据此用多项式时间动态规划排出批次组成。
启示与展望
演示范围是单块边缘GPU上的单个真实叠层成像重建工作流，代理模型为PtychoNN，传感器速率在每秒1000到5000个衍射图样之间扫描，经典求解器吞吐固定为每秒16个样本。作者表示后续计划把调度扩展到带标签训练数据的自适应选择，并评估Transformer等其他代理架构和叠层成像以外的工作流。
系统面向单设备边缘节点，不处理多GPU扩展；调度器假设前向与反向延迟曲线在部署前剖析一次后保持稳定；前向必须与模式无关，含BatchNorm或Dropout等模式相关层的架构需要分模式剖析或分开运行子批次；经典求解器吞吐漂移时需要重跑调度器。作者称这些结构要求下只展示了经验性通用。