Ollama是一款开源工具，它允许用户在本地便捷地运行多种大型开源模型，包括清华大学的ChatGLM、阿里的千问以及Meta的llama等。目前，Ollama兼容macOS、Linux和Windows三大主流操作系统。本文将介绍如何通过Docker安装Ollama，并将其部署以使用本地大模型，同时接入one-api，以便通过API接口轻松调用所需的大规模语言模型。
硬件配置
由于大模型对硬件配置要求非常高，所以机器的配置越高越好，有独立显卡更佳，建议内存32G起步。博主是在一台独立服务器上部署，服务器配置如下：
- CPU：E5-2696 v2
- RAM：64G
- 硬盘：512G SSD
- 显卡：无
备注：我的独立服务器没有显卡，所以只能用CPU来跑。
Docker安装Ollama
Ollama现在已经支持Docker安装，极大的简化了服务器用户部署难度，这里我们使用docker compose工具来运行Ollama，先新建一个docker-compose.yaml，内容如下：
然后输入命令docker compose up -d或者docker-compose up -d运行，运行后访问：http://IP:11434，看到提示Ollama is running就说明成功了，如下图：
99464807c614b7a2.png