Ollama 是一个基于 llama.cpp 的应用程序,它允许你直接通过你的计算机与大型语言模型 (LLMs) 进行交互。目前,Hugging Face 上有超过 45,000 个公共的 GGUF checkpoints,你可以使用单个 ollama run
命令来运行其中的任何一个。
要开始使用,只需执行以下命令:
ollama run hf.co/{username}/{repository}
或者
ollama run hf-mirror.com/gblfy5217/deepseek-r1-medical-model-1.5
这里有一些你可以尝试的模型:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF
通过这些简单的命令,你可以轻松地访问和运行 Hugging Face 上的各种 GGUF 模型。