跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

ServeTwin 用规格驱动分析时序与有状态服务循环耦合,在无需目标硬件剖析的情况下以 3.6% 平均误差复现吞吐-交互性前沿

作者提出 ServeTwin,一个将规格驱动分析时序与有状态服务循环耦合的闭环模拟器,通过 iSTAGE 从模型与引擎规格推导逐迭代轨迹、避免目标硬件算子剖析,并实现 vLLM 兼容接口以运行未修改的服务基准;在真实部署对比中,它以 3.6% 平均误差复现 InferenceX 的稳态吞吐-交互性前沿,以 9.9% 误差预测 LMBenchmark 多轮性能并跟踪 KV-cache 演化,预硅扫描还显示首选 HBM 带宽-容量权衡随工作负载状态反转、并发提升会把瓶颈从内存带宽转向调度与运行时开销。