# 边缘推理

面向必须在硬截止时间内处理传感器数据的科学工作流，UniPipe把深度神经网络代理模型的推理服务与在线微调放进同一块边缘GPU上的同一个CUDA上下文，用一次前向同时处理推理请求和带标签样本，只对标签子集做反向传播。在真实叠层成像重建流程与PtychoNN上，它相对冻结的预训练基线降低推理与重建均方误差，相对双上下文并发基线降低截止时间错过率，并把95百分位延迟相对均值的离散度缩小近一半。

面向必须在硬截止时间内处理传感器数据的科学工作流，UniPipe把深度神经网络代理模型的推理服务与在线微调放进同一块边缘GPU上的同一个CUDA上下文，用一次前向同时处理推理请求和带标签样本，只对标签子集做反向传播。在真实叠层成像重建流程与PtychoNN上，它相对冻结的预训练基线降低推理与重建均方误差，相对双上下文并发基线降低截止时间错过率，并把95百分位延迟相对均值的离散度缩小近一半。

FlashML 发布 FreeToken，一个面向个人与消费级硬件的边缘原生 MoE 推理引擎，目标是在用户已有的游戏 PC 上本地运行 290B 以上规模的前沿开放权重 MoE 模型。它把 GPU、CPU、主机内存与互连视为统一的弹性推理平台，用带宽自适应的 CPU–GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来组织计算与数据搬运。引擎还提供语义锚点检查点以跳过智能体上下文编辑带来的重复计算，并支持运行时在专家缓存与 KV 内存之间重新分配显存，覆盖 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等模型与 MXFP4、NVFP4、FP8、BF16 等量化格式。

FlashML 发布 FreeToken，一个面向个人与消费级硬件的边缘原生 MoE 推理引擎，目标是在用户已有的游戏 PC 上本地运行 290B 以上规模的前沿开放权重 MoE 模型。它把 GPU、CPU、主机内存与互连视为统一的弹性推理平台，用带宽自适应的 CPU–GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来组织计算与数据搬运。引擎还提供语义锚点检查点以跳过智能体上下文编辑带来的重复计算，并支持运行时在专家缓存与 KV 内存之间重新分配显存，覆盖 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等模型与 MXFP4、NVFP4、FP8、BF16 等量化格式。