大模型——VLLM 运行llama4
最近llama4火出圈了，不愧是大模型界的当红炸子鸡，号称宇宙最强大模型，这里我们快速尝鲜，看看怎么快速部署，首先我们需要知道当前的llama4是没有办法用ollama 部署的，因为llama4 的文件格式的问题，如果你想ollama部署，那需要自己转成ollama可以支持的格式
huggingface 配置
因为llama4的模型文件现在发不在了huggingface上，这里我们就需要注册huggingface，这里我们也安装一下huggingface_hub ，因为huggingface-cli 也可以下载huggingface 伤的模型
Huggingface-CLI的使用其隶属于huggingface_hub库，在使用之前请先安装
pip install -U huggingface_hub
请注意在进行下载之前，请使用：
huggingface-cli login
然后需要获取token