admin管理员组

文章数量:1646251

使用NVIDIA 免费工具TENSORRT 加速推理实践–YOLOV3目标检测

tensorRT5.0之前主要支持计算机视觉类的模型，现在已经升级到TensorRT7.0 ，对语音、语义、自然语言处理等方向的模型也能提供很好的支持。

Nvidia TensorRT 是一种**高性能深度学习推理优化器和运行时加速库 ** ，可为深度学习推理应用程序提供低延迟和高吞吐量。应用场景主要是由于在嵌入式或移动端的GPU性能比较紧张，比如Nano，又希望能够保证快速的推理计算能力。

介绍YoloV3 在没有使用TensorRT和使用TensorRT的对比效果，这里使用的硬件是Tx1，设置batchsize=1，如果没有使用TensorRT 的情况下基本帧率是1FPS，在使用TensorRT的情况下是4.6FPS，提升效果在4倍以上。当batchsize设置的更大的话，tensorRT加速效果更好，作者尝试最多加速到14FPS。

使用传统框架和使

本文标签： 目标工具NVIDIATensorRT

版权声明：本文标题：使用NVIDIA 免费工具TENSORRT 加速推理实践--YOLOV3目标检测 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1729417284a1200399.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。