文章目录

• 一、安装cuda
• • 1.激活环境
  • 2.升级工具
  • 3.安装nvidia-pyindex模块
  • 4.安装cuda运行包
  • 5.使用conda安装cuda Toolkit组件
• 二、安装TensorRT
• • 1.激活环境
  • 2.安装tensorRT python wheel
  • 3.验证
• YOLOv5加速

以下安装的仅适用于python！
c/c++不能使用

一、安装cuda

请注意，使用这种安装方法，CUDA 安装环境是通过 pip 管理的，并且必须额外注意设置您的主机环境以在 pip 环境之外使用 CUDA。

1.激活环境

conda activate your_env_name

2.升级工具

pip install --upgrade setuptools pip wheel

3.安装nvidia-pyindex模块

py -m pip 安装 nvidia-pyindex

4.安装cuda运行包

py -m pip install nvidia-cuda-runtime-cu11

5.使用conda安装cuda Toolkit组件

conda install cuda -c nvidia

二、安装TensorRT

这python wheels文件目前仅支持 Python 版本 3.6 到 3.9 和 CUDA 11.x，不适用于其他 Python 或 CUDA 版本。目前仅支持 Linux 操作系统和 x86_64 CPU 架构。这些轮子文件预计可在 CentOS 7 或更高版本以及 Ubuntu 18.04 或更高版本上运行。

1.激活环境

conda activate your_env_name

2.安装tensorRT python wheel

pip install -U nvidia-tensorrt --index-url https://pypi.ngc.nvidia

3.验证

python3
>>> import tensorrt
>>> print(tensorrt.__version__)
>>> assert tensorrt.Builder(tensorrt.Logger())

如果显示如下消息，可能没有更新英伟达驱动，更新驱动即可。

TensorRT] ERROR: CUDA initialization failure with error 100. Please check your CUDA installation: ...

YOLOv5加速

trt加速YOLOv5博客