TensorRT不再只走一条编译路线:十个工作负载上,调优后最快路线比默认快1.14到1.63倍
核心概要
NVIDIA在TensorRT 11.1中推出全局性能调优器,把编译器的调度选择表示成可搜索的构建路线,即一组编译器开关取值的组合,并在满足用户给定精度边界的前提下挑选实测端到端最快的引擎。默认构建路线在十个评测工作负载上被归一化为1.0倍,调优找到的最佳合格路线相对它取得1.14倍到1.63倍的提升。精度决定哪些候选可接受,性能只在可接受候选中排序,因此调优结果绑定于具体模型、输入形状、目标GPU与软件版本。
