深度学习端上部署工具
| 模型 | 公司 | 通用性别 | 说明 |
| tf-lite | tensorflow，开源 | 通用性最强，与 tensorflow 适配完美，不过性能一般 支持CPU和GPU |
roadmap 中预计年底将实现对全系列rnn以及control flow的支持，值得期待！ |
| TensorRT | nvidia，闭源 | 支持CPU和GPU | 仅支持nvidia gpu系列产品推理，平台的限定使得无法推广到一般的移动端设备使用 |
| OpenCV | |||
| mnn | 阿里巴巴，开源 | 踩在巨人的肩膀上进行研发，起点高，端上性能强悍，据说性能强于ncnn | 吸取了最近两年开源的移动端推理框架的各种优秀成果
硬件支持：
|
| TNN | 腾讯，开源 | 支持CPU和GPU | |
| ncnn | 腾讯，开源 | 大量手写汇编级别优化，移动端性能强悍 支持CPU和GPU |
|
| bolt | 华为，开源 | 支持CPU和GPU | 官方数据中给出了端设备上bert的推理性能数据 |
| mace | 小米，开源 | ||
| paddle-lite | 百度，开源 | ||
| pytorch-mobile | facebook，开源 | ||
| caffe2 | facebook，开源 | ||
| tvm | 陈天奇团队，开源 |