本地低成本部署deepseek-r1
一丶首先还是以前文章使用的Xinference.具体看以前文章
二丶首先部署不量化的7b模型
如果你多张卡可以调整gpu
然后这里咱们部署的是不量化的所以要改一下
这个是token长度
然后我们在国内下载的就选择
三丶部署部署量化的32b模型
这里如果量化有这个就选这个
token这个你可以从6000慢慢往上加，具体看你显存了
然后你用14B的可以init8,token设置个11000,具体根据自己显卡设置
目前试过的3090也能跑起来,目前我用的是4090d.然后r1是推理模型
可以看下区别.
最后如果没有搞搞清楚v3，r1状况的，先看一下论文文档，扔碎片一个AI里让它们翻译，不要跟着短视频跑
https://arxiv.org/html/2412.19437v1
https://arxiv.org/abs/2501.12948
然后最后我们xfc需要这个版本才有r1,需要大家下载一下* Pip：pip install ‘xinference==1.2.1’
具体使用哪个模型看你显卡,显存了