一、xinference框架

特性：xinference框架在支持模型数量以及各种特性上表现突出，被认为特性最全、支持模型最多。
优势：能够提高模型训练和部署的效率，降低模型在部署过程中的时间和成本。

链接：https://inference.readthedocs.io/zh-cn/latest/models/builtin/llm/index.html#models-llm-index
支持多种部署方式，有的模型不支持。我在部署Deepseek R1满血版的时候报错了。

二、ollama框架

易用性：ollama框架以其易用性著称，特别适合初学者使用。最大的特点就是简单。
功能：无需深入了解每个模型，即可轻松部署LLM（大型语言模型）等复杂模型。

链接：https://ollama.com/

三、VLLM

企业级部署框架
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速