由于Deepseek最新发布的R1和V3实在是过于庞大，本地跑不起来，无奈之下，只能退而求其次，用一个蒸馏以后的小模型来进行测试。
经测试，普通回答问题尚可，代码生成能力很差。
本机配置：
Intel® Core™ i9-14900HX 2.20 GHz
RAM 64.0 GB (63.7 GB 可用)
NVIDIA GeForce RTX 4090
NVIDIA-SMI 561.03 Driver Version: 561.03 CUDA Version: 12.6
Windows 11 专业版

一、下载模型到本地

git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

1. git lfs install

Git LFS（Git Large File Storage）是 Git 的一个扩展，用于管理大文件（如模型权重、数据集等）。

git lfs install 命令用于在当前系统中安装并启用 Git LFS。

如果你没有安装 Git LFS，需要先下载并安装它：

访问 Git LFS 官网 下载并安装。

安装完成后，运行 git lfs install 启用 Git LFS。

Hugging Face 的模型仓库通常包含大文件（如模型权重），这些文件不适合直接存储在 Git 仓库中。

Git LFS 会将大文件存储在远程服务器上，而在 Git 仓库中只保存指向这些文件的指针。

当你运行 git clone 时，Git LFS 会自动下载这些大文件。

2. git clone https://huggingface.co/deepseek-ai/

这是一个 Git 克隆命令，用于从 Hugging Face 的模型仓库中下载模型文件。
Hugging Face 是一个流行的 AI 社区，提供了许多预训练模型和数据集。
运行该命令会将整个模型仓库（包括模型权重、配置文件等）克隆到本地。

如果网络不好的话，下载会挺久。

二、检查本地配置

最新的cuda版本应该是12.8，但是没有相对应的pytorch。查到最新的pytorch支持的是12.4，nightly版本支持的事12.6，所以对cuda进行降级操作。

1. 卸载现有的 CUDA 和 NVIDIA 驱动程序

在安装新版本的 CUDA 之前，建议先卸载现有的 CUDA 和 NVIDIA 驱动程序。

步骤：
打开 控制面板 > 程序和功能。

找到以下内容并卸载：

所有以 NVIDIA 开头的程序（如 NVIDIA 图形驱动程序、NVIDIA PhysX 等）。

所有以 CUDA 开头的程序（如 CUDA Toolkit）。

重启计算机。

2.下载新的 CUDA Toolkit

访问 NVIDIA CUDA Toolkit 下载页面。

选择以下选项：
操作系统：Windows。
架构：x86_64（64 位）。
版本：选择你需要的 CUDA 版本（如 CUDA 12.4）。
安装程序类型：选择 exe (local)（本地安装程序&