跳到主要内容
检索

Sungjoon Park

1 篇关联报道

订阅更新
  1. arXiv

    ServeTwin 用规格驱动分析时序与有状态服务循环耦合,在无需目标硬件剖析的情况下以 3.6% 平均误差复现吞吐-交互性前沿

    作者提出 ServeTwin,一个将规格驱动分析时序与有状态服务循环耦合的闭环模拟器,通过 iSTAGE 从模型与引擎规格推导逐迭代轨迹、避免目标硬件算子剖析,并实现 vLLM 兼容接口以运行未修改的服务基准;在真实部署对比中,它以 3.6% 平均误差复现 InferenceX 的稳态吞吐-交互性前沿,以 9.9% 误差预测 LMBenchmark 多轮性能并跟踪 KV-cache 演化,预硅扫描还显示首选 HBM 带宽-容量权衡随工作负载状态反转、并发提升会把瓶颈从内存带宽转向调度与运行时开销。

已读完全部报道