TensorRT 11.1 引入全局性能调优器：不再靠一条固定构建路线，改为按模型搜索可行引擎
核心概要
NVIDIA 在 TensorRT 11.1 中发布全局性能调优器（Global Performance Tuner），把编译调度从单一默认策略改为可定制的构建路线。此前优化依赖内部 KPI 模型总结出的启发式规则，规则越积越多，且对未见过的外部模型可能造成回退。新功能为每个候选解校验输出是否满足精度要求，并测量端到端推理性能，在满足精度的解中选取运行时间最短者。
深度剖析
TensorRT 的性能优化从一条共享的默认调度策略，扩展为可按模型和部署环境定制的多条构建路线。 过去工程师研究内部 KPI 工作负载，把可优化模式写成启发式规则放进默认策略，新模型只能沿用这套共享逻辑。 同一模型在不同调度下可编译出不同解，而不同模型的最优路线未必相同：材料以两个模型为例，一个的最优解来自第三条路线，另一个来自第一条路线。
调优器把精度当作约束、把端到端运行时间当作目标，在扩大的候选解集合中挑选。 此前性能与数值可接受性难以分开优化，激进调度可能超出应用容差，而高精度选择又要牺牲性能。 对每个候选解，调优器按给定精度准则校验输出，并测量端到端推理性能，只在满足精度要求的解中取运行时间最小者。
启示与展望
所述内容针对 TensorRT 11.1 中发布的全局性能调优器，讨论对象是深度学习编译器的调度与构建路线选择；材料以数学框架和一个调味类比说明动机，未给出具体模型的性能或精度测量结果。
材料把运行时间视为在固定执行环境下由解唯一确定的量，但同时指出实际中环境变量无法完全控制，重复测量存在噪声；搜索算法在真实世界中也可能选出次优解，原因包括搜索阶段使用的启发式会提前剔除候选，以及单核剖析与整图执行环境不一致。