1、TensorRT下载

        下载地址：NVIDIA TensorRT Download | NVIDIA Developer

        在下载地址找到对应版本，以TensorRT7.2.3为例，找到其中的windows版本（注意，部分TensorRT的release版本没有windows版本），选择相应CUDA版本的zip下载即可，例如CUDA11.1这个。

        下载后得到zip包：TensorRT-7.2.3.4.Windows10.x86_64.cuda-11.1.cudnn8.1.zip

 GPU环境（CUDA\cudnn）准备

        根据下载包的名称我们可以知道对应的CUDA和cudnn版本，但是考虑到CUDA和cudnn这里没有给出小版本号，同时TensorRT的Release版本对CUDA和cudnn有兼容性要求，为了避免踩坑，建议查看TensorRT的Release日志。

在其中找到自己版本7.2.3日志，查看兼容性信息，可以看到兼容的CUDA版本是11.1 update1，也即11.1.1，cudnn版本是cudnn 8.1.1。

        因此在CUDA archieve和cudnn archieve中下载对应版本，并安装。

VS开发配置

        VS使用TensorRT时可以单独添加系统环境变量，并引用文件夹，也可以将其放到CUDA版本中（已添加环境变量），引用CUDA的路径，具体参考官方zip安装说明，摘录如下图，其中7.X版本的没有TensorRT**.whl。更多关于TensorRT的安装参考这里。

        为了简化，笔者直接将其加入CUDA路径，即inclue放到D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include目录，lib中的lib放到D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64，lib中的dll放到D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\bin中。

        设置工程属性：

工程属性

VC++ Directories > Executable Directories

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib

C/C++ -> Additional Include Directories添加：

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include

Linker -> Additional Library Directories添加：

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib;D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64;

Linker -> Input -> Additional

添加D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64下的所需lib，不知道就加所有。

TensorRT模型发布

        TensorRT模型具有比较强的显卡算力、平台、CUDA和版本等依赖，需要注意匹配。为了方便发布模型可以将bin下的trtexec.exe拷贝到CUDA/bin目录后使用进行发布。也可以设置合适的环境变量后（假设有多个版本的CUDA）进行发布。例如：

set CUDA_PATH=D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1
set CUDAHOME=D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1
trtexec.exe --explicitBatch --onnx=onnx_model_path --saveEngine=save_engine_path --fp16 --workspace=2048