NVIDIA在cuda-bindings 13.3.0中发布cuda.bindings.cudla模块，把cuDLA的C++运行时接口以Cython生成的薄层暴露给Python，使Jetson AGX Orin上的DLA推理无需编写C++即可完成设备创建、网络加载、缓冲区注册与任务提交。该模块面向混合模式，DLA任务通过CUDA流与GPU前后处理按序执行；同一套API在RTX Spark上保持一致。发布说明同时指出，当前版本不支持需要NvSci缓冲区与同步原语的独立模式。
NVIDIA 在 TensorRT 11.1 中发布全局性能调优器（Global Performance Tuner），把编译调度从单一默认策略改为可定制的构建路线。此前优化依赖内部 KPI 模型总结出的启发式规则，规则越积越多，且对未见过的外部模型可能造成回退。新功能为每个候选解校验输出是否满足精度要求，并测量端到端推理性能，在满足精度的解中选取运行时间最短者。
NVIDIA在TensorRT 11.1中推出全局性能调优器，把编译器的调度选择表示成可搜索的构建路线，即一组编译器开关取值的组合，并在满足用户给定精度边界的前提下挑选实测端到端最快的引擎。默认构建路线在十个评测工作负载上被归一化为1.0倍，调优找到的最佳合格路线相对它取得1.14倍到1.63倍的提升。精度决定哪些候选可接受，性能只在可接受候选中排序，因此调优结果绑定于具体模型、输入形状、目标GPU与软件版本。
NVIDIA 团队以一篇经验总结文章描述了开源项目 TensorRT Model Connect 的构建方式：该项目用 C++ 在 TensorRT 之上提供模型家族自有的参考实现，把 Hugging Face 或本地 checkpoint 转换为带版本的 .bundle 产物并暴露面向任务的 C++ API，覆盖文本、视觉、音频、扩散、分割、嵌入、预测等工作负载；截至 2026 年 7 月 29 日的公开发布对比，项目覆盖 128 个模型家族并在 NVIDIA GB300 上测试，团队据此提出以并行可分解任务、模型家族隔离、可逆变更和 GPU 支撑的自动化验证为核心的“AI 原生”工程做法。
已读完全部报道