消费级PC跑前沿MoE不再靠SSD硬扛：Tideway把显存与内存并成统一池，端到端平均快1.97倍
核心概要
Tideway把消费级PC的GPU显存与主机内存合并成一个统一内存池，并按预填充与解码两个阶段分别布置专家权重，使超出显存的前沿MoE模型不必反复从SSD搬运权重。在RTX 5090、16–128 GiB主机内存预算下，对Qwen3.6-35B-A3B、Gemma4-26B-A4B与DeepSeek-V4-Flash的270组固定形状配置，端到端延迟平均加速1.97倍、最高3.18倍，首令牌时间平均加速2.40倍，每输出令牌时间平均加速1.61倍；八段多轮编码智能体会话回放中总请求处理时间最高缩短3.14倍。
深度剖析
消费级PC上运行前沿规模MoE模型时，权重被迫分散在显存、主机内存和SSD三层，Tideway把前两层当作一个统一内存池来调度，而不是各自独立的缓存。 此前的系统把显存当作主机内存的缓存、主机内存当作SSD的缓存，各层独立替换；FreeToken假定完整专家池常驻主机内存，llama.cpp把分页交给操作系统的内存映射文件，SSD-LLaMA在各阶段沿用同一套布局。 在32 GB显存的RTX 5090、16–128 GiB主机内存预算下，对三个开源权重MoE模型的270组固定形状配置，Tideway相对最快基线的端到端延迟平均加速1.97倍、最高3.18倍。
内存池内部按阶段切换布局：预填充阶段为权重流式搬运和激活留出空间，并把可复用的主机内存专家锚定住；解码阶段收回这些空间作为固定地址的专家槽位。 预填充时每个8K令牌块几乎激活全部专家，逐层扫描会把上一层刚用过的专家挤出内存；Tideway用锚定保留可复用专家，只留一个小流式窗口承接SSD读入。 在64 GiB主机内存、32K输入、8K预填充块的DeepSeek-V4-Flash设置中，基线预填充专家流量有86–99%由SSD提供，Tideway只从SSD取52%。
执行引擎在专家分页发生时仍保留CUDA Graph回放，把每层拆成若干可复用的分段图，动态的主机分页操作放在段与段之间完成。 默认的卸载引擎一旦遇到需要主机参与的分页路径就放弃图捕获，退回逐核函数的即时调度，增加主机派发与同步开销。 在32K输入、1K输出、64 GiB主机内存的剖析中，多数基线的解码时间由CPU编排开销和GPU停顿主导，而llama.cpp有92%的解码时间花在CPU上计算专家。
启示与展望
评测在单台消费级台式机上进行：32核AMD CPU、32 GB显存的RTX 5090、PCIe 5.0、8 TB NVMe SSD，主机内存按模型限制在16–128 GiB，覆盖三个开源权重MoE模型与八段TraceLab编码智能体会话回放。
Tideway在分配专家槽位前先预留KV缓存容量，上下文增长会压缩可用于专家常驻的内存；把KV块一并纳入内存池管理被列为后续方向，而非已完成的评测。