安装与使用tensorrt

深度学习部署前言

深度学习部署,可以使用各种深度学习框架的C++库, cafe、tensorflow、libtorch、paddle、onnx、ncnn、tnn等,它们都分别有CPU和GPU的库。下面要讲的Tensorrt因为是英伟达开发的在自家的硬件上的加速库,因此只支持GPU。
之前虽然在Windows上做过tensorrt的C++推理测试,但是没有做笔记,现在做一下linux和windows上的tensorrt的安装和部署。

1、Tensorrt python版

随着TensorRT8.0版本的发布,windows下也正式支持Python版本了,跟紧NVIDIA的步伐,正式总结一份TensorRT-python的使用经验。

一、底层库依赖

在安装TensorRT前,首先需要安装CUDA、CUDNN等NVIDIA的基本库,如何安装,已经老生常谈了&

猜你喜欢

转载自blog.csdn.net/juluwangriyue/article/details/125134038