Ollama部署700亿参数大模型Llama3

---

前言

首先，70b表示700亿参数，模型文件就有40G，一般的电脑是运行不了的，所以GPU
私有化部署大模型最佳解决方案 Ollama （8B）模型

Meta发布了Llama 3开源模型，分80亿和700亿参数两种版本，宣布超越了闭源的谷歌等模型。网上关于大模型开源闭源讨论也很多，近日一家国外AI智能体公司VRSEN 创始人公开发表言论，表示自己运行开源模型并不如使用商业API那么高效，只有少数公司才能在生产中使用最大的Llama版本。

一、安装Ollama

1. 使用以下脚本安装ollama，但是网速慢

curl -fsSL https://ollama.com/install.sh | sh

我建议本地下载：

1. 本地先下载 https://ollama.com/download/ollama-linux-amd64

2. 然后上传ollama-linux-amd64文件

3. 然后执行以下命令

cp ollama-linux-amd64 /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

二、运行Llama3:70b

修改环境变量

export OLLAMA_MODELS=/root/autodl-tmp/ollama/models

启动ollama server：

ollama serve

新开一个窗口：

ollama run llama3:70b