Windows下从零开始基于Ollama与Open-WebUI本地部署deepseek R1详细指南(包含软件包和模型网盘下载)

0. 概述

最近国产大模型DeepSeek很火,但有时因为访问人数过多导致反应慢甚至宕机。
在这里插入图片描述
但好在DeepSeek是开源的,可以本地部署,这样就不用联网也能用了。但本地部署需要考虑硬件需求,比如是否有足够的GPU资源,存储空间,以及是否熟悉相关的技术步骤。本地部署的优势,比如离线使用、数据隐私、响应速度。
是于本地部署,对硬件有一定的要求,特别是GPU,显然,GPU显存越大,就能部署参数更多的模型,通俗的讲,显存越大,模型越聪明。
下面是模型大小与所需硬件的关系:
在这里插入图片描述
可以在这个地址白嫖满血版的deepseek:https://dazi.co/login?i=d788ca33

1. 环境配置

我这里的使用远程服务器进行部署,系统是Windows,GPU是V100,32G显存,机子信息如下图(Windows下的模型部署步骤是一样的),要本地部署deepseek R1,首先要GPU驱动,Cuda,Cudnn,Ollama,Anaconda,Open-webui,这些我之前都打包放在网盘上。
在这里插入图片描述

1.1 显卡驱动

要使用GPU推理,首先要有GPU,其次就是要装上驱动,N卡驱动下载地址:https://www.nvidia.cn/drivers/lookup/
在这里插入图片描述
下载完成之后选择精简安装:
在这里插入图片描述
执行清洁安装:
在这里插入图片描述

1.2 CUDA

CUDA(Compute Unified Device Architecture,计算统一设备架构)是由全

猜你喜欢

转载自blog.csdn.net/matt45m/article/details/145439806
今日推荐