别被 “一键部署” 骗了!使用Ollama本地部署DeepSeek 避坑指南

最近最火的莫过于DeepSeek,现在网上关于 AI 模型部署的文章一抓一大把,动不动就是 “一键部署,轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。可现实是,当你真上手用 Ollama 搭建 DeepSeek 模型时,那简直就是踩坑大冒险!今天咱就来好好唠唠那些坑,帮你顺利搭建属于自己的 DeepSeek。

一、Ollama 是什么

Ollama 则是咱们搭建模型的得力助手,它就像是一个智能的建筑工人,能够帮助我们快速、轻松地部署各种大型语言模型。使用 Ollama,我们不需要掌握复杂的技术知识,只需要几个简单的命令,就能让模型在本地运行起来。它还提供了简洁易用的界面,让我们可以方便地与模型进行交互,就像和朋友聊天一样自然。

ollama地址:www.ollama.com/download

不同模型版本对应的需求

以下是显存需求的大致参照表:

图片

通过此表,可以帮助您快速选择适合自己需求的 DeepSeek版本。

二、Ollama 安装和配置详细步骤

安装前准备

在安装 Ollama 之前,要确保你的系统满足基本要求。通常,Ollama 支持主流的操作系统,如 Linux、macOS 和 Windows。至少有 32GB 的内存和足够的存储空间。我使用的是Ubuntu服务器,32核,64G内存,P100(计算卡)。

同时,要保证系统已经安装了必要的依赖,比如在 Linux 系统上可能需要安装一些基础的开发工具包。

Step 1:安装 Ollama

在 Linux 系统上安装 Ollama 相对简单。打开终端,输入以下命令:

curl https://ollama.com/install.sh | sh

这个命令会从 Ollama 的官方服务器下载安装脚本并执行。

扫描二维码关注公众号,回复: 17565126 查看本文章

遇到的第一个坑

正常情况下通过上面的步骤就能安装成功,然而,在安装之际,网络状况却成了 “绊脚石”,致使 Ollama 的下载进度特别慢,甚至会弹出了 “Error: pull model manifest” 的问题提示,这无疑是雪上加霜,让原本就不顺利的安装过程变得更加艰难。不过别慌,解决办法这就奉上:

1、下载ollama_install.sh并保存

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

2、使用github文件加速替换github下载地址

sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh

3、替换后增加可执行权限

chmod +x ollama_install.sh

4、执行sh下载安装

sh ollama_install.sh

安装完成后,你可以通过以下命令验证是否安装成功:

ollama --version

如果能正确显示 Ollama 的版本信息,说明安装成功。

在这里插入图片描述

Step 2:启动模型

输入以下命令来启动模型:

ollama run deepseek-r1:14b

这一步整体还算顺利,没什么大毛病。唯一小闹心的就是初次下载时,速度就像老黄牛拉车,磨磨蹭蹭的。但别着急,只要下载成功,后续就能顺顺当当的。要是下载失败了也别气馁,就多试那么几次,说不定哪一回就成啦。

在这里插入图片描述

当你看到终端输出一些信息后,就说明模型已经成功启动啦!这时候,你就可以和 DeepSeek开始聊天啦。

在这里插入图片描述

Step 3:安装chatbox

cmd 黑窗口用起来实在是太憋屈啦,有没有带 UI 界面的,用起来能更顺手些。要说和 Ollama 搭配使用,体验感拉满的 UI 界面,首推 Ollama 官方的 docs.openwebui.com 。要是你对 Docker 部署轻车熟路,或者懂点代码,那完全可以参考相关教程手动安装,感受一把技术操作的乐趣。

如果你就想简单点,下载个客户端,用鼠标点点就能轻松上手,那选 chatbox 就对啦。安装方式跟装其他软件没啥两样,双击运行安装程序就行,超省心。点击这个链接 chatboxai.app/zh 就能下载,快去试试吧!

遇到的第二个坑

在服务器上成功安装 Ollama 并启动 DeepSeek 之后,我们遇到了第二个问题。通过本地命令行可以正常调用接口,但当尝试从外部电脑访问服务器上的 DeepSeek 接口时,始终无法成功。

查阅官方文档后发现,要实现外网访问,需要对 Ollama 进行配置修改,使其监听地址为 0.0.0.0 并修改端口。具体步骤如下:

第一步:修改文件

vim /etc/systemd/system/ollama.service

第二步:增加配置

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

第三步:重新加载

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

配置完之后,在浏览器中访问http://服务器IP:11434/ ,返回“Ollama is running”。说明配置成功了。接下来在chatbox 中设置Ollama 的地址即可。

在这里插入图片描述

通过以上几步,我们就可以使用Ollama 在本地部署DeepSeek大模型了。


如何系统学习掌握AI大模型?

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享

在这里插入图片描述

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/m0_56255097/article/details/145932486