1. 引言
近年来，大语言模型（LLM）的发展突飞猛进，推动了人工智能技术在各个领域的应用。然而，很多企业、研究机构或特殊环境（如涉密单位）存在严格的网络限制，无法直接联网访问云端 API 或下载所需资源。这使得 本地部署大模型 成为刚需。
本篇文章将详细介绍 如何在无法联网的电脑上本地部署 DeepSeek 大模型，包括模型概述、硬件要求、部署工具、联网与离线部署方法等，帮助你成功运行本地大模型。
2. DeepSeek 大模型概述
DeepSeek 是一家位于中国的人工智能公司，专注于研发新一代通用人工智能技术。其最引人注目的成就之一便是 DeepSeek 大模型 系列，这是一系列开源的大语言模型，以其卓越的性能和开放性，在业界引起了广泛关注。
DeepSeek 开源介绍
DeepSeek 秉持着开源开放的精神，将其研发的大模型对外开源，旨在推动人工智能技术的普及和发展。开源意味着任何人都可以免费获取、使用、修改和分发 DeepSeek 的模型代码和权重，这极大地降低了大模型的使用门槛，让更多的研究人员、开发者甚至企业能够参与到大模型的应用和创新中来。
DeepSeek 的背景：开源、国产、免费、强大
- 开源： DeepSeek 模型的开源是其最显著的特点。这与一些闭源的大模型形成鲜明对比，开源促进了技术的透明度和社区协作，加速了模型的迭代和优化。
- 国产： DeepSeek 是一家中国公司，其模型的开源也被视为中国在人工智能领域自主研发力量崛起的一个重要标志。
- 免费： DeepSeek 开源的模型可以免费使用，这对于资源有限的个人开发者和初创企业来说非常友好，降低了使用先进技术的成本。
- 强大： 尽管是开源免费模型，DeepSeek 在性能上却毫不逊色。其模型在多项评测基准上都展现出强大的竞争力，甚至在某些方面超越了其他知名的开源模型。
其他主流开源大模型对比
目前开源大模型领域百花齐放，除了 DeepSeek，还有许多其他优秀的主流开源大模型，例如：
- Llama (Meta): Meta 公司开源的 Llama 系列模型是目前最受欢迎和广泛使用的开源大模型之一。Llama 拥有多个不同参数规模的版本，例如 Llama 2 和 Llama 3，在性能和易用性方面都非常出色，社区生态也非常繁荣。 您可以在 Hugging Face Meta 官方账号 了解更多信息。
- Mistral (Mistral AI): Mistral AI 是一家法国人工智能公司，其开源的 Mistral 系列模型以高效和高性能著称。Mistral 7B 和 Mistral 8x7B 等模型在资源受限的环境下也能展现出优秀的性能，适合部署在移动设备或边缘设备上。 您可以在 Hugging Face Mistral AI 官方账号 了解更多信息。
- Gemma (Google): Google 开源的 Gemma 模型是基于 Gemini 模型技术构建的，拥有强大的性能和广泛的应用潜力。Gemma 也提供了不同参数规模的版本，例如 Gemma 2 和 Gemma 7B，方便开发者根据需求选择。 您可以在 Hugging Face Google 官方账号 了解更多信息。
- Baichuan (百川智能): 百川智能是中国的人工智能公司，其开源的 Baichuan 系列模型也是国内优秀的开源大模型代表。Baichuan 模型在中文语言理解和生成方面具有优势，适合中文自然语言处理任务。 您可以在 Hugging Face Baichuan智能 官方账号 了解更多信息。
- Yi (零一万物): 零一万物是中国人工智能公司李开复创立的公司，其开源的 Yi 系列模型也备受关注。Yi 模型以其卓越的性能和长上下文窗口能力而闻名。 您可以在 Hugging Face 01-ai 官方账号 了解更多信息。
这些开源大模型各有特点和优势，开发者可以根据自己的需求和应用场景选择合适的模型。 以下是一些简单的对比 (仅供参考，具体性能请查阅各模型官方文档和评测报告)：
| 模型系列 | 开源公司/机构 | 主要特点 | 优势应用场景 |
|---|---|---|---|
| DeepSeek | DeepSeek | 代码生成能力强、国产开源、免费 | 代码辅助编程、文本创作、教育科研、智能客服 |
| Llama | Meta | 社区生态繁荣、性能全面、易用性好 | 通用自然语言处理任务、对话系统、内容生成 |
| Mistral | Mistral AI | 高效高性能、资源消耗低 | 移动设备/边缘设备部署、资源受限环境应用 |
| Gemma | 基于 Gemini 技术、性能强大、应用潜力广泛 | 各种自然语言处理任务、需要高性能的应用场景 | |
| Baichuan | 百川智能 | 中文语言理解和生成能力强、国产开源 | 中文自然语言处理任务、中文内容创作、中文对话系统 |
| Yi | 零一万物 | 性能卓越、长上下文窗口能力强 | 需要处理长文本的任务、需要高性能的应用场景、科研领域 |
大模型的下载格式
开源大模型通常提供多种下载格式，以满足不同用户的需求和使用场景。常见的下载格式包括：
- GGUF (.gguf): GGUF 格式是专门为 llama.cpp 工具设计的量化模型格式。llama.cpp 是一个用 C++ 编写的库，用于在 CPU 和 GPU 上高效运行 Llama 模型。GGUF 格式的模型文件体积小，加载速度快，非常适合在消费级硬件上进行本地部署和推理。
- Safetensors (.safetensors): Safetensors 是一种安全快速的模型权重存储格式，旨在替代传统的 Pytorch Checkpoint 格式。Safetensors 格式加载速度快，安全性高，可以有效防止恶意代码注入，越来越受到开源社区的欢迎。
- Pytorch Checkpoint (.pth): Pytorch Checkpoint 是 Pytorch 框架默认的模型权重保存格式。这种格式包含了模型的完整状态，包括权重、模型结构等信息。Pytorch Checkpoint 格式的模型通常用于模型的训练、微调和部署。
- ONNX (.onnx): ONNX (Open Neural Network Exchange) 是一种开放的模型交换格式，旨在实现不同深度学习框架之间的互操作性。ONNX 格式的模型可以在多种框架 (如 Pytorch, TensorFlow, ONNX Runtime 等) 中运行，具有良好的跨平台和跨框架兼容性。
选择哪种下载格式取决于您的具体需求和使用场景。 如果您需要在 CPU 或消费级 GPU 上运行模型，并且追求速度和效率，GGUF 格式是一个不错的选择。如果您需要进行模型训练或微调，或者需要在多种框架之间切换，Pytorch Checkpoint 或 ONNX 格式可能更适合。Safetensors 格式由于其安全性和速度优势，也逐渐成为一种流行的选择。
开源大模型的下载来源
下载开源大模型的主要来源包括：
- Hugging Face Hub (huggingface.co): Hugging Face Hub 是目前最大的开源模型和数据集托管平台，几乎所有主流的开源大模型都可以在 Hugging Face Hub 上找到，包括 DeepSeek、Llama、Mistral、Gemma、Baichuan、Yi 等系列模型。Hugging Face Hub 提供了方便的模型下载、版本管理、模型评估等功能，是下载开源大模型的首选平台。
- DeepSeek 官方 GitHub (