1 申请下载模型权限
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
稍微认证填一填，我这次大概10分钟左右给我通过了
邮件内容如下：
2 下载llama源码
git clone [email protected]:facebookresearch/llama.git
3 下载模型
使用源码里面的download.sh进行下载
如下图
第一步让你输入邮件里面那个授权url，很长，https://download.llamameta.net开头
第二步让你输入想要下载的模型名称，这里下载的是70B-chat
之后会下载几个LICENSE和tokenizer.model等
再之后就是我们最需要的模型文件了。如下图
4 下载花絮
2023-7-22 11:20:30，开始下载的时候是2023-7-21 17:30，过去这么久，下载了不少模型了，但是刚刚发现报错了。。。。
不知道能不能继续
然后重新执行download.sh脚本，发现会重新下载已经下载过的模型，ε=(´ο｀*)))唉！！！！
只能改下源码，跳过已经下载过的。
我这里原本下载好了00 01 02 03 04 05 06，07也有，由于07是最后一个，不确定下载完成没，所以也当做没下载，另外00在我重试download.sh脚本的时候覆盖了，也是不完整的，所以我把download.sh脚本改为如下图
if [[ $s != "01" && $s != "02" && $s != "03" && $s != "04" && $s != "05" && $s != "06" ]]
wget xxxx
fi
2023-7-22 14:50:21总算下载完成
模型大概129G
5 跑官方demo
2023-7-24 22:10
官方说了这里需要8个MP，所以我跑的时候指定了8个GPU
CUDA_VISIBLE_DEVICES=1,2,3,4,6,7,8,9 torchrun --nproc_per_node 8 --master_port=29501 example_chat_completion.py --ckpt_dir llama-2-70b-chat/ --tokenizer_path tokenizer.model --max_seq_len 512 --max_batch_size 4
启动命令后，查看GPU状态，如下图
查看终端输出
很顺利的运行了！
6 微调
后续补充