tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch

admin管理员组

文章数量:1122850

tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch

文章目录

• tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装
• • 1.深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT）
  • 2.安装tensorrt相关

tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装

pytorch: python

libtorch:c++

tensorRT: 适用于 nvidia的gpu
Intel cpu:使用openvino
amd gpu:请使用opencl和ROCm

1.深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT）

=a2c6h.14164896.0.0.56464f534k2fRI
.html

tensorRT:
tensorRT 是一个C++库，从 TensorRT 3 开始提供C++ API和Python API，主要用来针对 NVIDIA GPU进行 高性能推理（Inference）加速。

目前TensorRT4.0 几乎可以支持所有常用的深度学习框架，对于caffe和TensorFlow来说，tensorRT可以直接解析他们的网络模型；对于caffe2，pytorch，mxnet，chainer，CNTK等框架则是首先要将模型转为 ONNX 的通用深度学习模型，然后对ONNX模型做解析。而tensorflow和MATLAB已经将TensorRT集成到框架中去了。

ONNX（Open Neural Network Exchange ）是微软和Facebook携手开发的开放式神经网络交换工具，也就是说不管用什么框架训练，只要转换为ONNX模型，就可以放在其他框架上面去inference。这是一种统一的神经网络模型定义和保存方式，上面提到的除了tensorflow之外的其他框架官方应该都对onnx做了支持，而ONNX自己开发了对tensorflow的支持。从深度学习框架方面来说，这是各大厂商对抗谷歌tensorflow垄断地位的一种有效方式；从研究人员和开发者方面来说，这可以使开发者轻易地在不同机器学习工具之间进行转换，并为项目选择最好的组合方式，加快从研究到生产的速度。
/ 关于caffe model使用tensorRT的例子
这里以pytorch为例：
因此第一步：首先将model.pt文件转换为ONNX文件

2.安装tensorrt相关

1. pycuda版本安装：
   /?cm_mc_uid=08085305845514542921829&cm_mc_sid_50200000=1456395916#pycuda
   找不到对应版本的话，尝试：

   pip3 install -i  
   conda install -c conda-forge pycuda
   

   pycuda使用入门：

2. onnx安装

   pip install -i onnx

3. tensorRT安装和示例
   首先查看自己的cuda和cudnn版本

   然后下载对应版本的tensorRT:
   Go to:
   Click GET STARTED, then click Download Now.
   Select the version of TensorRT that you are interested in.
   Select the check-box to agree to the license terms.
   Click the package you want to install. Your download begins.

   然后解压：
   tar -zxvf TensorRT-8.5.1.7.Linux.x86_64-gnu.cuda-11.8.cudnn8.6.tar.gz
   然后添加环境变量，参考：

   然后安装tensorrt python 和 onnxruntime:

   安装tensorrt python:

   cd TensorRT-8.4.1.5/python/
   pip3 install tensorrt-8.2.1.8-cp36-none-linux_x86_64.whl
   

4. tensorRT 部署流程
   .html#install
   .6/quickstart/IntroNotebooks

   .html#run-engine-c

5. torch-tensorrt 介绍：
   安装： pip install torch-tensorrt==1.4.0
   Accelerating Inference Up to 6x Faster in PyTorch with Torch-TensorRT
   /

   示例：关于torch-tensorrt的教程很好的
   
   .html

本文标签： tensorrt pycudaonnxonnxruntimetensorrttorch