零、TensorRT简介
1、TensorRT的基本功能
TensorRT是NVIDIA开发的一个可以在NVIDIA旗下的GPU上进行高性能推理的C++库，是一个高性能推理优化引擎。
其核心库是使用c++去加速NVIDIA生产的GPU，具有python API。它可以加速的框架模型有：tensorflow、Caffe、Pytorch、MXNet等。
它可以吸收在这些流行框架上受过训练的神经网络，优化神经网络计算，生成一个轻量级的运行时引擎，然后它将在这些GPU平台上最大限度地提高吞吐量、延迟和性能。
2、工作原理
主要的优化模型工作集中在：
1）分析图结构中没有用到的输出layer，对网络层进行合并。
2）融合卷积操作、bias和ReLU操作。
3）把有相似参数的操作和有相同输入源的tensor聚合。
4）通过直接将layer的输出对应到最终的destination，这样融合了级联层。
3、官方指导
https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/。
一、环境安装
如果有环境问题，直接跳到第三节 Q & A，看看能否给你一点帮助。
1、本机环境
- ubuntu 16.04
- cuda 9