OLLAMA 和 Hugging Face：数千个模型，一个强大的 AI 平台 利用多样化模型的力量来获得更智能的解决方案

简介

Hugging Face (HF) 在最近的一份声明中宣布与 Ollama 建立新的合作关系，Ollama 是一款流行的软件，可让您在笔记本电脑上完全离线运行大型语言模型 (LLM)。得益于此次合作，您现在可以使用 Ollama 直接从 Hugging Face 中心运行任何 GGUF 模型。

GGUF 是一种文件格式，旨在高效存储 LLM 的权重（扩展名为 .gguf）。它被 llama-cpp 框架广泛使用，该框架是 LLaMa 等模型的 C++ 实现。C++ 是一种快速编程语言，可以在笔记本电脑上本地运行这些模型。

GGUF 格式还支持各种类型的“量化”（“量化”的缩写）。模型量化是一种在不牺牲太多性能的情况下显着减小模型大小的技术。Hugging Face 中心目前以不同的量化格式托管 45,000 个 GGUF 模型。

推荐文章

• 《如何微调 NLLB-200 模型以翻译新语言(教程含源码)》 权重6，微调类、NLLB-200 模型

• 《将 Llama 3 与 Ollama 和 Python 结合使用