TensorRT 处理流程
基本处理过程：1>caffe model 转化 gie的model，或者从磁盘或者网络加载gie可用的model；2>运行GIE引擎（数据提前copy到GPU中）；3>提取结果
二、TensorRT介绍
TensorRT 现在是inference 精度最高，速度最快的，而且在不断的改进过程中，在保证软件精度的同时，不断提高速度；TensorRT只能用来做Inference，不能用来做train；
TensorRT V1不能和caffe 同时工作，Release-V2解决这个问题，内部测试已经没有问题。
1、TensorRT的需要的文件
需要的基本文件（不是必须的）
1>网络结构文件（deploy.prototxt）
2>训练的权重模型(net.caffemodel)
TensorRT 2.0 EA版中的sampleMNISTAPI和TensorRT 1.0中的sampleMNISTGIE 几乎没有变化，就是不使用caffemodel 文件构建network 的例子。
2、TensorRT支持的层
Convolution: 2D
Activation: ReLU, tanh and sigmoid
Pooling: max and average
ElementWise: sum, product or max of two tensors
LRN: cross-channel only
Fully-connected: with or without bias
SoftMax: cross-channel only
Deconvolution
对于TensorRT 不支持的层，可以先将支持的层跑完，然后将输出作为caffe的输入，用caffe再跑，V1不支持TensorRT 和caffe同时工作，V2支持。（例子NVIDIA正在做，后期可能会上传github）
3、TensorRT 处理流程
基本处理过程：1>caffe model 转化 gie的model，或者从磁盘或者网络加载gie可用的model；2>运行GIE引擎（数据提前copy到GPU中）；3>提取结果
4、GIE code优化时有用的设置
转化为giemodel有两种方式1>caffeToGIEModel ,2>参考sampleMNISTAPI自己构建GIE model.
markOutput :标记某一层为输出层，每一层均可标记为输出
MaxBatchSize/MaxWorkspaceSize：设置最大批量大小和最大工作空间，如下
builder->setMaxBatchSize(maxBatchSize);
builder->setMaxWorkspaceSize(16 << 20);
MaxWorkspaceSize 设置小于需要的，则部分算法无法执行导致崩溃或结果不确定
可以通过如下方式获得最大工作空间
ICudaEngine* engine = builder->buildCudaEngine(*network);
engine->getWorkspaceSize();
setMinFindIterations/setAverageFindIterations：
When timing layers, the builder minimizes over a set of average times for layer execution. This parameter controls the number of iterations used in minimzation. 测试层的执行时间时，设置最小的迭代次数/平均迭代次数，（NVIDIA 给的建议是设置其一为2）
Severity::kINFO：信息等级
class Logger : public ILogger
{
void log(Severity severity, const char* msg) override
{
if (severity!=Severity::kINFO) //注释掉此行，会打印很多内部信息
std::cout << msg << std::endl;
}
} gLogger;
三、TensorRT Optimization
使用了很多 优化网络和层计算的方法
内存优化、网络优化，层合并，层删除以及GPU汇编指令，内部函数，提高GPU利用率，减少精度需求，cuDNN优化，根据不同的batchsize设置不同的计算模式或者GPU clock；卷积的优化，使用Winograd（提升3倍） 等算法或者特定硬件方式实现；
批量处理尽可能并行处理，在cuda中 使用warp对齐，提高GPU命令命中率，除此还有CPU可以使用，CPU做一部分工作，GPU做一部分工作；
数据布局可以使用半精度FP16 ， textute memory , 13% inference speedup
网络优化中，网络的垂直融合，网络的水平融合，级联层可以删掉（concat）
内部使用稀疏矩阵编码
Ongoing new instruction set for inference, assembly implemented in GPU kernels
四、roadmap（未来会有的功能）
1、Define and implement unique functionality using the custom layer API；支持定制层
2、支持更多的层