【大模型实战篇】--ollama部署本地大模型(deepseek)

目录

1.下载ollama

2.模型下载

3.配置环境变量(可选)

4.启动ollama

5.ollama命令总结


1.下载ollama

官网地址:ollama.com/

安装成功:

 ollama -v

Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。以下是 Ollama 的主要特点和功能:

  1. 简化部署

    • Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程,使得非专业用户也能轻松上手1。
  2. 轻量级与可扩展

    • Ollama 是轻量级的,同时具有可扩展性,能够适应不同的使用需求2。
  3. 多种预训练语言模型支持

    • Ollama 提供了多种开箱即用的预训练模型,包括常见的 GPT、BERT 等大型语言模型,用户可以轻松加载并使用这些模型进行文本生成、情感分析、问答等任务3。
  4. API 支持

    • Ollama 提供了丰富的 API 接口,方便用户进行模型的管理和交互2。
  5. 预构建模型库

    • Ollama 提供了一个丰富的预构建模型库,可以轻松集成到各种应用程序中4。
  6. 模型导入与定制

    • Ollama 支持模型的导入和定制,用户可以根据自己的需求进行模型的调整和优化

总的来说,Ollama 是一个功能强大、易于使用且高度可定制的本地大语言模型运行框架,适合开发者和研究人员在本地环境中进行模型部署和交互。

2.模型下载

进入ollama官网下载模型:Ollama模型库,下载 deepseek-r1 模型(演示下载的为7b版本,即下面蓝色字体中的 7b ,根据个人的电脑配置选择,初始可以选择下载1.5b版本的)

在指定路径下载模型: 

3.配置环境变量(可选)

4.启动ollama

查看安装模型:

ollama list

启动模型:

ollama run model_name

5.ollama命令总结

命令 用途 语法
ollama serve 启动 Ollama 服务 ollama serve
ollama create 使用 Modelfile 创建新模型 ollama create /path/to/Modelfile
ollama show 查看特定模型的详细信息 ollama show model_name
ollama list 或 ollama ls 列出本地所有可用的模型 ollama list 或 ollama ls
ollama run 运行一个已安装的模型 ollama run model_name
ollama ps 显示当前正在运行的模型列表 ollama ps
ollama rm 删除一个已安装的模型 ollama rm model_name
ollama -v 或 ollama --version 查看 Ollama 工具的版本信息 ollama -v 或 ollama --version
ollama cp 复制一个模型 ollama cp old_model new_model
ollama pull 从模型注册表中拉取模型 ollama pull model_name
ollama push 将本地模型推送到注册表 ollama push model_name

此表格清晰地展示了 Ollama 的常用命令及其用途和语法,便于快速查阅和使用。

猜你喜欢

转载自blog.csdn.net/qq_58602552/article/details/145709062
今日推荐