0. 概述
最近国产大模型DeepSeek很火,但有时因为访问人数过多导致反应慢甚至宕机。
但好在DeepSeek是开源的,可以本地部署,这样就不用联网也能用了。但本地部署需要考虑硬件需求,比如是否有足够的GPU资源,存储空间,以及是否熟悉相关的技术步骤。本地部署的优势,比如离线使用、数据隐私、响应速度。
是于本地部署,对硬件有一定的要求,特别是GPU,显然,GPU显存越大,就能部署参数更多的模型,通俗的讲,显存越大,模型越聪明。
下面是模型大小与所需硬件的关系:
可以在这个地址白嫖满血版的deepseek:https://dazi.co/login?i=d788ca33
1. 环境配置
我这里的使用远程服务器进行部署,系统是Windows,GPU是V100,32G显存,机子信息如下图(Windows下的模型部署步骤是一样的),要本地部署deepseek R1,首先要GPU驱动,Cuda,Cudnn,Ollama,Anaconda,Open-webui,这些我之前都打包放在网盘上。
1.1 显卡驱动
要使用GPU推理,首先要有GPU,其次就是要装上驱动,N卡驱动下载地址:https://www.nvidia.cn/drivers/lookup/
下载完成之后选择精简安装:
执行清洁安装:
1.2 CUDA
CUDA(Compute Unified Device Architecture,计算统一设备架构)是由全