小支同学用 Ollama 跑 DeepSeek R1:本地部署与多元应用指南

前言

    友友们,以后别再叫我小北啦!从现在起,大家叫我小支同学会更好记哦!我也要跟过去的自己 say bye bye 啦~这也是小支同学今年的第一篇技术博客,希望能给大家带来有价值的内容。最近国产大模型 DeepSeek 可是火得一塌糊涂,频繁出现反应迟缓甚至宕机的情况,这和两年多之前 ChatGPT 的遭遇颇为相似。不过万幸的是,DeepSeek 是一个开源模型,我们完全可以通过本地部署,在自己的终端上随时使用它!接下来我就一步一步教大家具体的操作方法。

一文搞懂DeepSeek - 开源模型R1

       在当下 AI 领域蓬勃发展的浪潮中,开源大型语言模型 DeepSeek-R1 宛如一颗璀璨的新星,强势崛起,备受瞩目。它凭借在数学、编程、推理等诸多任务中展现出的强大性能,迅速在大模型的赛道上占据了一席之地。其独特的纯强化学习训练方法,开源、低成本的特性,以及领先的技术创新,让它在竞争激烈的 AI 世界中脱颖而出,吸引了众多开发者和研究人员的目光。  

       在众多权威的基准测试中,DeepSeek-R1 的表现十分亮眼,甚至能与行业巨头 OpenAI o1 一较高下。以 AIME 2024 数学测试为例,DeepSeek-R1 的准确率与 OpenAI o1-0912 不相上下;在 MATH-500、Codeforces 以及 MMLU 等测试中,同样斩获了优异的成绩,充分证明了自身的实力。

       要深入了解 DeepSeek-R1,首先得认识它的 “诞生地”——DeepSeek(深度求索)。DeepSeek 既是杭州深度求索人工智能基础技术研究有限公司的简称,也是该公司全力打造的通用人工智能开源大模型平台。这家公司凭借着自研训练框架、自建智算集群以及万卡算力等强大的资源,在极短的时间内就取得了令人瞩目的研发成果。DeepSeek 最大的优势之一,便是成功大幅缩减了以往大模型所需的庞大算力,极大地降低了大模型的成本,因此被形象地誉为 “AI 界的拼多多”。

       DeepSeek 旗下拥有一系列丰富多样的模型,每一款都独具特色。DeepSeek-R1,作为数学、代码及推理领域的开源大模型,以其全面详实的回答和结构化的输出,在同类模型中表现出色;DeepSeek-V3,凭借自研的 MoE 模型和高达 671B 的参数,性能超越了所有已发布的开源模型,堪称极具性价比的顶尖大模型;DeepSeek-VL,是专为视觉和语言理解而设计的开源多模态模型,能够轻松处理复杂场景下的逻辑、公式识别以及自然图像等问题;DeepSeek-V2,以创新的模型架构和极低的推理成本,成为了追求性价比的用户的不二之选;DeepSeek-R1-Zero,作为采用强化学习训练的预模型,摒弃了传统的监督微调路线,展现出了独特的优势;还有从 R1 数据蒸馏而来的蒸馏版 Qwen 和 Llama 小模型,在部分任务上的表现甚至超越了 GPT-4o,令人刮目相看。

       DeepSeek-R1:一款在数学、代码及自然语言推理领域与OpenAI o1比肩的开源大模型,以其全面、详实的回答和结构化输出著称。

  • DeepSeek-V3:凭借自研MoE模型和671B参数,在性能上超越所有已发布的开源模型,成为极具性价比的顶尖大模型之一。
  • DeepSeek-VL:专为视觉和语言理解设计的开源多模态模型,能够处理复杂场景下的逻辑、公式识别及自然图像等问题。
  • DeepSeek-V2:以创新的模型架构和极低的推理成本,成为性价比极高的大模型选择。
  • DeepSeek-R1-Zero:采用强化学习训练的预模型,不走传统监督微调路线,展现独特优势。
  • 蒸馏版Qwen、Llama系列小模型:从DeepSeek-R1数据上蒸馏得到的小模型,表现优秀,部分任务上甚至超越GPT-4o。

        DeepSeek-R1 于 2025 年 1 月 20 日正式发布,它采用了包含 6710 亿参数的 MoE(专家混合)架构,主打推理功能。值得一提的是,DeepSeek-R1 开源了模型权重,并采用了宽松的 MIT 许可协议,这一举措为广大开发者提供了极大的便利和灵活性,让他们能够更自由地使用和探索该模型。与 OpenAI-o1 相比,DeepSeek-R1 的优势显而易见,开源特性、强化学习训练带来的高效推理能力以及低成本,为开发者提供了更多的选择。

       DeepSeek-R1 的核心亮点非常突出。它是首个完全通过强化学习训练的大型语言模型,无需进行监督微调,这一特性大大简化了模型的训练流程。同时,通过结合冷启动数据进行训练,有效解决了 R1-Zero 在可读性和语言混合方面的局限性,显著提升了模型的推理能力。此外,DeepSeek-R1 还提供了六个不同规模的蒸馏版本(1.5B 至 70B),以满足不同规模开发者的需求。与 OpenAI o1 相比,其 API 调用成本大幅降低,进一步增强了它的竞争力。

      在技术创新方面,DeepSeek-R1 也有着独到之处。它开发了 GRPO 算法,通过群组相对优势估计来优化策略网络,有效避免了传统 Critic 网络的高计算开销。同时,设计了包括准确性、格式和语言一致性在内的多层次奖励机制,确保了模型在推理任务中的高效性和输出内容的可读性。另外,通过 “思考 - 回答” 双阶段训练模板,实现了推理过程的可追踪性,并为奖励计算提供了明确的基准,从而输出结构化的答案,让模型的推理更加透明、可靠

       DeepSeek-R1 凭借其出色的性能、独特的特性和创新的技术,在 AI 领域中树立了新的标杆,为大模型的发展带来了新的思路和方向,有望在未来的 AI 应用中发挥更为重要的作用。

一、用 Ollama 下载模型

首先,我们需要安装 Ollama,它能够在本地运行和管理大模型。大家可以到 Ollama 官网:OllamaGet up and running with large language models.https://ollama.com/https://ollama.com/https://ollama.com/点击下载,然后根据自己的系统选择适合的版本,这里以 Windows 系统为例。下载完成后点击安装,安装完成后安装窗口会自动关闭,此时系统托盘图标会出现一个常驻的 Ollama 标记。

到Ollama官网:Download Ollama on Windowshttps://ollama.com/download/windowshttps://ollama.com/download/windowsDownload Ollama on Windows 点击下载,然后选择适合自己系统的版本,这里选择Windows:将Windows版的Ollama下载到本地:双击OllamaSetup.exe图标,进入安装

单击【Install】按钮,就开始安装,需要几分钟,请耐心等待,直到安装完成

下载完成后点击安装,完成后安装窗口会自动关闭,你的系统托盘图标会出现一个常驻的Ollama标记:

  在Windows搜索栏输入“cmd”回车,唤出命令行窗口:

查看Ollama版本,执行命令:ollama --version

下载DeepSeek R1 法一:

接下来,点击 Ollama 官网左上方的 “Models” 按钮,就会列出支持的各种模型,目前最火的 DeepSeek-R1 排在显眼位置,点击进入主题页面。进入这个界面后,点击下拉菜单,可以看到多个版本。如果你的主机是 4090 显卡 24G 显存,建议选择 32b 版本(数字越大,对显存要求越高)。选择好模型之后,点击右侧按钮,复制指令,这里是:ollama run deepseek-r1:32b。

在 Windows 搜索栏输入 “cmd” 回车,唤出命令行窗口,黏贴运行刚才复制的命令,就开始下载了,32b 模型容量大约 19GB,下载过程中请保持网络畅通。下载完成之后,就可以和 DeepSeek 对话了。但是在命令行窗口下对话还是太抽象,我们需要一个美观的图文交互界面。

进入这个界面后,点击下拉菜单,可以看到多个版本。我的主机是4090显卡24G显存,选择32b版本(数字越大,对显存要求越高):选择好模型之后,点击右侧这个按钮,复制指令,这里是:ollama run deepseek-r1:32b在Windows搜索栏输入“cmd”回车,唤出命令行窗口:

黏贴运行刚才复制的命令,开始下载,32b模型容量大约19GB,请保持网络畅通:下载完成之后,就可以和DeepSeek对话了:

但是在命令行窗口下对话,还是太抽象,我们需要一个美观的图文交互界面。

下载DeepSeek R1 法二:

二、安装 Docker

因此,我们要用到 Docker 这个容器化平台,先从官网下载:https://www.docker.com/https://www.docker.com/https://www.docker.com/https://www.docker.com/这里依然选择 Windows 版。下载后安装,选项全默认即可。安装完成需要重新启动 Windows,重启后需要同意 Docker 的条款,并注册你的账号。

下载后安装,选项全默认即可:

安装完成需要重新启动Windows:

重启后需要同意Docker的条款,并注册你的账号:

三、安装 Open WebUI

接下来到Open WebUI这个开源工具的代码页:

https://github.com/open-webui/open-webuihttps://github.com/open-webui/open-webuihttps://github.com/open-webui/open-webuihttps://github.com/open-webui/open-webui

找到“If Ollama is on your computer, use this command”这一项,点击右边的按钮复制这个指令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

再次打开命令行窗口,黏贴刚才复制的命令,安装Open WebUI:

安装完成后,你会发现你的 Docker 界面里多了 Open WebUI 的条目。

四、在图形化界面下运行 DeepSeek

还记得之前装好的Ollama吗?你需要在命令行窗口里再次执行:ollama run deepseek-r1:32b

保持命令行窗口开启,然后点击Docker桌面端的这个位置:

首次使用,会打开一个网页,点击“开始使用”:

把你之前注册的账号名字密码填进去,登录:

这里点击“确认,开始使用”:

图形界面的DeepSeek-R1,准备就绪,随时待命!

32b的反应速度很快,因为是R1模型,所以有深度思考功能:

更棒的是,还可以通过Open WebUI自带的语音功能输入,避免打字。方法是点击右边的“呼叫”按钮:

DeepSeek会同时输出文字和语音,虽然是机器人腔调,但毕竟是官方也没有的功能!

32b 的反应速度很快,因为是 R1 模型,所以有深度思考功能。更棒的是,还可以通过 Open WebUI 自带的语音功能输入,避免打字。方法是点击右边的 “呼叫” 按钮,DeepSeek 会同时输出文字和语音,虽然是机器人腔调,但毕竟是官方也没有的功能!

五、体验 DeepSeek R1

  1. 智能客服与问答系统:在企业客服场景中,DeepSeek R1 可以作为智能客服助手,快速响应客户问题,提供准确的解答。通过 Ollama 运行 DeepSeek R1 模型,输入客户常见问题,例如‘如何安装软件?’或‘如何配置网络?’。DeepSeek R1 会立即生成准确且友好的回复,帮助企业提升客户满意度,同时降低人工客服的成本。
  2. 内容创作与文案生成:在市场营销或内容创作中,DeepSeek R1 可以帮助生成广告文案、社交媒体内容或博客文章。假设我们需要为新产品撰写一篇推广文案,只需输入产品特点和目标受众,例如‘为一款智能手表撰写一篇吸引年轻人的广告文案’。DeepSeek R1 会快速生成富有创意的内容,帮助我们节省时间并提高创作效率。
  3. 编程与代码辅助:对于开发者,DeepSeek R1 可以作为编程助手,帮助生成代码片段、调试错误或解释复杂的技术概念。假设我们在开发一个 Python 项目时遇到了问题,可以输入‘如何用 Python 实现快速排序?’。DeepSeek R1 不仅会生成代码,还会详细解释每一步的逻辑。此外,它还能帮助调试错误代码,例如‘为什么这段代码会报错?’,并提供修复建议。
  4. 教育与学习辅助:在教育领域,DeepSeek R1 可以作为学习助手,帮助学生解答问题、生成练习题或解释复杂概念。例如,学生可以输入‘解释牛顿第二定律’,DeepSeek R1 会以简单易懂的方式解释这一物理概念。此外,它还能生成练习题,例如‘生成 5 道关于微积分的题目’,帮助学生巩固知识。

    实战小结:

       本次实战中,我们成功部署并体验了Ollama与DeepSeek R1的强大功能。首先,通过Ollama的便捷安装和版本管理,我们快速搭建了本地运行环境。随后,下载并运行DeepSeek R1模型,验证了其在多个场景中的实用性。在智能客服场景中,DeepSeek R1能够快速生成准确回复,提升客户服务效率;在内容创作中,它帮助生成了富有创意的文案;在编程辅助中,提供了代码生成和调试支持;在教育领域,它则以通俗易懂的方式解释复杂概念并生成练习题。整体来看,DeepSeek R1展现了其在多领域的广泛应用潜力,结合Ollama的轻量化部署,为开发者和企业提供了高效、智能的解决方案。

六、DeepSeek-R1 的相关知识

       2025 年 1 月 20 日,DeepSeek 发布了全新的开源推理大模型 DeepSeek-R1
这一模型在数学、编程和推理等多个任务上达到了与 OpenAI o1 相当的表现水平,同时将 API 调用成本降低了 90-95%

这一发布不仅引发了 AI 圈的广泛关注,更让 DeepSeek 成为了 OpenAI 的有力竞争者。

  1. DeepSeek(深度求索):DeepSeek 是杭州深度求索人工智能基础技术研究有限公司的简称,同时也是该公司研发的通用人工智能开源大模型平台。DeepSeek 完全基于自研训练框架、自建智算集群和万卡算力等资源,在短时间内取得了显著的研发成果。它通过大幅度缩减以往大模型所需要的庞大算力,直接把大模型的成本降了下来,被称为 “AI 界的拼多多”。
  2. DeepSeek 系列模型:包括 R1(数学、代码及推理领域开源大模型,回答全面详实)、V3(自研 MoE 模型,性能顶尖且性价比极高)、VL(视觉与语言理解开源多模态模型)、V2(创新架构,推理成本低廉)、R1-Zero(强化学习预模型,独特优势)、以及蒸馏版 Qwen 和 Llama 小模型(从 R1 数据蒸馏,表现优异)。
  3. DeepSeek-R1:是一款在 2025 年 1 月 20 日发布的大型语言模型,它采用了包含 6710 亿参数的 MoE(专家混合)架构,特别主打推理功能。同时 DeepSeek-R1 开源了模型权重,并采用了宽松的 MIT 许可协议,为开发者提供了极大的便利和灵活性。与 OpenAI-o1 相比,其优势在于开源特性、强化学习训练的高效推理能力以及低成本,为开发者提供了更多选择和灵活性。
  4. DeepSeek-R1 的核心亮点:作为首个完全通过强化学习训练的大型语言模型,无需监督微调,结合冷启动数据显著提升了推理能力,并提供多个蒸馏版本及低成本的 API 服务。
  5. DeepSeek-R1 的核心创新:开发了 GRPO 算法以优化策略网络,避免了高计算开销,同时设计了多层次奖励机制和 “思考 - 回答” 双阶段训练模板,确保模型推理的高效性、可读性和过程可追踪性。

七、高级部署方案与性能优化

  1. 基础环境搭建
    • 系统环境要求:操作系统为 Ubuntu 22.04 LTS 或 CentOS 8+(需支持 AVX512 指令集);硬件配置方面,GPU 版本需 NVIDIA 驱动 520+,CUDA 11.8+,CPU 版本至少 16 核处理器,64GB 内存;存储空间原始模型需要 30GB,量化后约 8 - 20GB。
    • 依赖安装:安装基础编译工具、Ollama 核心组件和模型转换工具。
  2. 模型格式转换
    • 原始模型下载:使用官方模型仓库获取授权下载原始模型。
    • GGUF 格式转换:创建转换脚本将原始模型转换为 Ollama 支持的 GGUF 格式。
  3. Ollama 模型配置
    • Modelfile 编写:创建 Ollama 模型配置文件,设置系统指令模板、参数和适配器配置。
    • 模型注册与验证:创建模型包并进行运行测试。
  4. 高级部署方案
    • 多量化版本构建:创建批量转换脚本构建多量化版本。
    • 生产环境部署:使用 docker-compose 进行部署,实现弹性扩缩容。
  5. API 服务集成
    • RESTful 接口开发:创建 FastAPI 服务,实现与 Ollama 的 API 集成。
    • 流式响应处理:实现 SSE 流式传输,提升用户体验。
  6. 性能优化实践
    • GPU 加速配置:优化 Ollama 启动参数,提升 GPU 利用率。
    • 批处理优化:修改 API 服务代码,实现批处理预测,提高性能。
  7. 安全与权限管理
    • JWT 验证集成:集成 JWT 验证,确保 API 访问安全。
    • 请求限流设置:设置请求限流,防止恶意请求。

八、完整部署实例

  1. 一键部署脚本:创建 deploy.sh 脚本,实现一键完成模型下载、格式转换、Ollama 注册、启动服务和验证部署的操作。
  2. 系统验证测试:编写测试代码,对部署的系统进行功能验证。

总结

通过以上步骤,我们可以成功地在本地用 Ollama 运行 DeepSeek R1,并体验其强大的功能。无论是在日常使用、企业应用还是技术研究中,DeepSeek R1 都能发挥重要作用。大家赶紧动手试试吧!

DeepSeek-R1 的行业影响

1. 开源社区的推动

DeepSeek-R1 的开源和低成本策略,为开发者提供了强大的工具,推动了 AI 技术的普及和创新。

2. 对 OpenAI 的挑战

DeepSeek-R1 的性能和定价策略,使其成为 OpenAI 的有力竞争者,可能改变 AI 行业的竞争格局。

3. 未来展望

随着 DeepSeek-R1 的广泛应用:

  • AI 推理能力将进一步提升。
  • 推动更多行业实现智能化转型。

总结

DeepSeek-R1 的发布标志着 AI 推理领域的一次重大突破。

通过创新的训练方法、开源策略和低成本定价:

  • DeepSeek 不仅挑战了 OpenAI 的领先地位,还为 AI 技术的普及和发展注入了新的活力。
  • 未来,DeepSeek-R1 有望在更多领域展现其强大的潜力,推动 AI 技术的广泛应用。

DeepSeek:让开源大语言模型超越闭源成为可能!

Enjoy~

参考文献:

用Ollama跑DeepSeek R1_ollama deepseek-CSDN博客文章浏览阅读5.1k次,点赞17次,收藏25次。本次实战中,我们成功部署并体验了Ollama与DeepSeek R1的强大功能。首先,通过Ollama的便捷安装和版本管理,我们快速搭建了本地运行环境。随后,下载并运行DeepSeek R1模型,验证了其在多个场景中的实用性。_ollama deepseekhttps://blog.csdn.net/howard2005/article/details/145356731?ops_request_misc=%257B%2522request%255Fid%2522%253A%25220d55bc6efe36e23feda9e19edc40ffed%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=0d55bc6efe36e23feda9e19edc40ffed&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~top_click~default-5-145356731-null-null.nonecase&utm_term=deepseek%20r1&spm=1018.2226.3001.4450https://blog.csdn.net/howard2005/article/details/145356731?ops_request_misc=%257B%2522request%255Fid%2522%253A%25220d55bc6efe36e23feda9e19edc40ffed%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=0d55bc6efe36e23feda9e19edc40ffed&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~top_click~default-5-145356731-null-null.nonecase&utm_term=deepseek%20r1&spm=1018.2226.3001.4450


DeepSeek-R1本地部署,再也不怕宕机,还有语音功能!-CSDN博客文章浏览阅读1.7k次,点赞19次,收藏14次。最近国产大模型DeepSeek特别火,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前ChatGPT的遭遇颇为相似。万幸,DeepSeek是一个开源模型,我们大可以通过本地部署,在自己的终端上随时使用!接下来就教大家具体的操作:**一、用Ollama下载模型**首先我们需要安装Ollama,它可以在本地运行和管理大模型。https://blog.csdn.net/2401_84204207/article/details/145389919?ops_request_misc=&request_id=&biz_id=102&utm_term=deepseek%20r1&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~sobaiduweb~default-3-145389919.nonecase&spm=1018.2226.3001.4450https://blog.csdn.net/2401_84204207/article/details/145389919?ops_request_misc=&request_id=&biz_id=102&utm_term=deepseek%20r1&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~sobaiduweb~default-3-145389919.nonecase&spm=1018.2226.3001.4450


一文了解 DeepSeek R1 模型:AI 推理领域的革命性突破_deepseek 算法突破-CSDN博客文章浏览阅读2.2k次,点赞30次,收藏18次。DeepSeek-R1 的发布标志着 AI 推理领域的一次重大突破。DeepSeek 不仅挑战了 OpenAI 的领先地位,还为 AI 技术的普及和发展注入了新的活力。未来,DeepSeek-R1 有望在更多领域展现其强大的潜力,推动 AI 技术的广泛应用。DeepSeek:让开源大语言模型超越闭源成为可能!DeepSeek-R1 模型是开源的,大家可以直接将大模型安装到本地把玩。_deepseek 算法突破https://blog.csdn.net/a2497_282263/article/details/145329941?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522483824801c6822b128e0aaf06405e2d8%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=483824801c6822b128e0aaf06405e2d8&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-18-145329941-null-null.nonecase&utm_term=deepseek%20r1&spm=1018.2226.3001.4450https://blog.csdn.net/a2497_282263/article/details/145329941?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522483824801c6822b128e0aaf06405e2d8%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=483824801c6822b128e0aaf06405e2d8&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-18-145329941-null-null.nonecase&utm_term=deepseek%20r1&spm=1018.2226.3001.4450

猜你喜欢

转载自blog.csdn.net/Zhiyilang/article/details/145401522
今日推荐