前言
在人工智能快速发展的今天，大语言模型（LLMs）已经成为开发者和研究者的重要工具。然而，使用云端模型常常面临隐私和成本问题。今天给大家推荐一个超火的开源项目 - Ollama
1、Ollama 是什么
Ollama 是一个开源的本地大语言模型运行框架，支持多种热门模型（如 LLaMA 2、Mistral、DeepSeek 等），并提供简单易用的命令行接口。
它最大的特点在于能够让用户在本地轻松运行各种大语言模型，无需依赖复杂的云端部署，大大提高了数据的安全性和使用的便捷性。通过 Ollama，开发者和用户可以快速搭建属于自己的大模型应用环境，实现文本生成、对话交互、代码编写等多种功能。
而且，Ollama 支持众多主流的大模型，如 Llama 2、Mistral、DeepSeek-R1 等，为用户提供了丰富的选择空间。
支持大模型可搜索：https://ollama.com/search
2、安装 Ollama
在安装 Ollama 之前，需要确保你的计算机具备一定硬件配置，尤其是要有足够的内存和存储来支持模型的运行。对于操作系统，Ollama 支持 Linux、macOS 和 Windows 系统。
官方下载：https://ollama.com/download
具体安装步骤：
1、Linux 系统：打开终端，运行以下命令来安装 Ollama。如果你的系统是基于 Debian 或 Ubuntu 的，可以使用以下命令：
curl -fsSL https://ollama.com/install.sh | sh
如果是基于 Red Hat 或 CentOS 的系统，需要先安装 curl 工具，然后再运行上述安装命令。
2、macOS 系统：在 macOS 上，你可以使用 Homebrew 进行安装。首先确保你已经安装了 Homebrew，然后在终端中运行：
brew install ollama
或者访问：https://ollama.com/download/Ollama-darwin.zip
3、Windows 系统：对于 Windows 用户，可以从 Ollama 官方网站下载对应的安装包。
下载地址：https://ollama.com/download/OllamaSetup.exe
下载完成后，双击安装包，按照安装向导的提示进行操作即可。安装过程中可能会需要你确认一些权限和设置，按照默认选项或者根据自己的需求进行选择即可。
3、Ollama 快速上手
1、启动 Ollama
安装完成后，在终端中输入ollama命令来启动 Ollama 服务，默认监听端口为 11434。你可以通过以下命令管理服务：
ollama serve # 启动服务
ollama list # 查看已下载的模型
2、下载模型
Ollama 本身并不包含模型，需要用户根据自己的需求下载。在终端中输入以下命令来下载模型，例如下载 Llama 2 模型：
ollama pull llama2
ollama pull deepseek-r1
下载过程中，会显示下载进度和相关信息。模型下载完成后，就可以随时使用了。
下载完成后，使用ollama list 查看已下载的模型。
3、使用模型进行交互
模型下载完成后，就可以开始与模型进行交互了。在终端中输入：
ollama run llama2
ollama run deepseek-r1:1.5b
然后就可以在命令行中输入你的问题或指令，模型会实时返回回答。比如你输入 “写一篇关于人工智能发展趋势的短文”，模型就会根据其训练的知识生成相应的短文内容。
4、删除模型
如果不再需要某个模型，可以使用以下命令删除：
ollama rm modelname
5、使用 API 调用
Ollama 提供了 HTTP API，方便开发者通过代码调用模型。以下是一个 Python 示例：
import requests
url = "http://localhost:11434/api/generate"
data = {
"model": "llama2",
"prompt": "你好，Ollama！"
}
response = requests.post(url, json=data)
for line in response.iter_lines():
if line:
print(line.decode('utf-8'))
6、模型量化
Ollama 支持对模型进行量化，以优化性能。例如，将 DeepSeek 模型量化为 8 位：
ollama quantize deepseek-r1 --bits 8
量化后的模型体积更小，推理速度更快。
7、部署可视化界面
Ollama 支持通过 WebUI 部署可视化对话界面。你可以使用 Docker 部署 OpenWebUI，或者使用 FastAPI 等框架构建自己的界面。
4、小结
Ollama 提供了一个简单而强大的框架，用于在本地运行和管理大语言模型。它不仅支持多种热门模型，还提供了丰富的功能和 API，方便开发者进行定制和扩展。无论你是初学者还是高级用户，Ollama 都是一个值得尝试的工具。
如果你对 Ollama 感兴趣，可以访问其官网 Ollama 官网(https://ollama.com/) 下载并体验。
项目代码地址：https://github.com/ollama/ollama
关于优联前端
武汉优联前端科技有限公司由一批从事前端10余年的专业人才创办，是一家致力于H5前端技术研究的科技创新型公司，为合作伙伴提供专业高效的前端解决方案，合作伙伴遍布中国及东南亚地区，行业涵盖广告，教育， 医疗，餐饮等。有效的解决了合作伙伴的前端技术难题，节约了成本，实现合作共赢。承接开发Web前端，微信小程序、小游戏，2D/3D游戏，动画交互与UI广告设计等各种技术研发。
