消费级PC跑前沿MoE不再靠SSD硬扛:Tideway把显存与内存并成统一池,端到端平均快1.97倍
Tideway把消费级PC的GPU显存与主机内存合并成一个统一内存池,并按预填充与解码两个阶段分别布置专家权重,使超出显存的前沿MoE模型不必反复从SSD搬运权重。在RTX 5090、16–128 GiB主机内存预算下,对Qwen3.6-35B-A3B、Gemma4-26B-A4B与DeepSeek-V4-Flash的270组固定形状配置,端到端延迟平均加速1.97倍、最高3.18倍,首令牌时间平均加速2.40倍,每输出令牌时间平均加速1.61倍;八段多轮编码智能体会话回放中总请求处理时间最高缩短3.14倍。