TensorRT 11.1 引入全局性能调优器:不再靠一条固定构建路线,改为按模型搜索可行引擎
NVIDIA 在 TensorRT 11.1 中发布全局性能调优器(Global Performance Tuner),把编译调度从单一默认策略改为可定制的构建路线。此前优化依赖内部 KPI 模型总结出的启发式规则,规则越积越多,且对未见过的外部模型可能造成回退。新功能为每个候选解校验输出是否满足精度要求,并测量端到端推理性能,在满足精度的解中选取运行时间最短者。
NVIDIA 在 TensorRT 11.1 中发布全局性能调优器(Global Performance Tuner),把编译调度从单一默认策略改为可定制的构建路线。此前优化依赖内部 KPI 模型总结出的启发式规则,规则越积越多,且对未见过的外部模型可能造成回退。新功能为每个候选解校验输出是否满足精度要求,并测量端到端推理性能,在满足精度的解中选取运行时间最短者。
NVIDIA在TensorRT 11.1中推出全局性能调优器,把编译器的调度选择表示成可搜索的构建路线,即一组编译器开关取值的组合,并在满足用户给定精度边界的前提下挑选实测端到端最快的引擎。默认构建路线在十个评测工作负载上被归一化为1.0倍,调优找到的最佳合格路线相对它取得1.14倍到1.63倍的提升。精度决定哪些候选可接受,性能只在可接受候选中排序,因此调优结果绑定于具体模型、输入形状、目标GPU与软件版本。
已读完全部报道