TensorRT优化策略

1. 消除不使用输出的层
2. 卷积、偏置和ReLU运算的融合;
3. 具有足够相似的参数和相同的源张量的操作的集合(例如，GoogleNet v5的inception模块中的1x1卷积);
4. 通过将层输出定向到正确的最终目的地来合并连接层;
5. 如果有必要，构造器还会修改权重的精度。当生成8位整数精度的网络时它使用一个称为校准的过程来确定中间激活的动态范围，从而确定量化所需的适当比例因子;
6. 此外，构建阶段还在虚拟数据上运行层，以从其内核目录中选择最快的并在适当的地方执行权重预格式化和内存优化。