在这篇文章中，我们不仅要安装好CUDA，还有安装多版本的CUDA

首先聊一个题外话：前几天在csdn上看到的一个话题”安装pytorch一定要去nvidia官网下载安装cuda和cudnn吗？“

我相信任何一个刚开始接触或者从事深度学习的炼丹者都会从安装cuda开始，现在网上随便一搜如何安装pytorch，蹦出来教程提及到的流程基本上都是先安装cuda，cudnn , 然后安装pytorch。但是现在完全没有必要，现在的pytorch都已经预构建了cuda以及cudnn，换言之，下载好了gpu版本的pytorch，pytorch默认用的都是自己附带的cuda。如果只是用pytorch训练、推理深度学习模型，完全没有必要再去额外安装完整版的cuda cudnn ，现在版本的pytorch都附带了不完整的cuda，这对于训练模型、模型推理等完全够用了，除非你触及到了cuda编程、cuda编译构建项目这个层面（国内深度学习从业者难有20%会触及到这个层面）此时才需要安装完整的英伟达cuda。因此对于刚开始接触或者从事深度学习的小白，特别是刚入门的学生党，基本上不会接触到这个层面，因此没有特别大的必要去英伟达官方下载安装完整版的cuda。直接下载Pytorch就可以直接使用了。

利用Pytorch等深度学习框架进行模型训练是”打怪升级“的第一阶段，今天我想谈一下，”打怪升级“的第二阶段：模型多环境推理部署和加速推理 的过程中 会遇到的一个实际问题：多版本CUDA

举一个典型的案例：生产环境下，我们要求项目具有低延迟、高吞吐，使用pytorch训练出来的原始模型往往满足不了这样的要求的，因此模型部署的时候不会采用pytorch训练出来的原始模型，在英