文章目录
DeepSeek 特别火,尽管此前没有全身心投入到 AI 学习中,但也被这股热潮卷入。云计算作为幕后支撑力量,在 AI 发展中发挥着至关重要的作用,云计算也会是隐形金矿!仅对相关信息进行了初步了解,尚未对 AI 的核心内容进行深入探究。
一、大模型的演变
二、大模型解析
2.1 模型的简介
推理模型
推理模型旨在通过逻辑推理、规则应用等方式从已知信息中得出结论。在我们传统的大语言模型基础上具有强化推理,逻辑分析,还要决策能力的模型。常见类型包括:
基于规则的推理:使用预定义规则进行推理,如专家系统。 逻辑推理:通过逻辑规则(如命题逻辑)推导结论。
概率推理:在不确定性下进行推理,常用方法包括贝叶斯网络。
非推理模型
非推理模型不依赖显式推理过程,而是通过数据驱动的方式学习模式和关系。或称谓预测模型,预训练模型,通用模型。 常见类型包括:
机器学习模型:如决策树、支持向量机、神经网络等。
统计模型:如线性回归、逻辑回归等。
深度学习模型:如卷积神经网络(CNN)、循环神经网络(RNN)等。
2.2 提示语简介
三、DeepSeek使用
3.1 DeepSeek 简介
DeepSeek 作为一个开源项目,其高明之处在于通过开源策略实现了技术推广、生态建设和商业化的平衡。以下是其开源策略的核心优势:
技术推广与品牌建设 快速传播:通过 MIT 协议,DeepSeek 可以快速被广泛使用和传播,提升品牌知名度.吸引开发者:开源吸引了大量开发者参与,形成社区,推动技术创新和迭代。
生态建设 插件和扩展:开源 DeepSeek 可以吸引开发者为其开发插件、工具或扩展,丰富生态。数据共享:通过开源,吸引用户贡献数据或模型,进一步提升 DeepSeek 的性能和适用性。
商业化潜力 增值服务:DeepSeek 可以通过提供技术支持、定制开发或云服务实现盈利。双许可证模式:在开源版本的基础上,提供企业版或高级版,满足企业用户的需求。
降低开发成本 社区贡献:通过开源,吸引社区开发者贡献代码和优化,降低开发和维护成本。快速迭代:社区反馈和贡献可以帮助 DeepSeek 快速迭代和改进。
建立行业标准 技术影响力:通过开源,DeepSeek 可以成为行业标准或参考实现,增强技术影响力。合作机会:开源项目更容易吸引企业合作,形成商业伙伴关系
在深度学习领域,满血版模型和蒸馏版模型是两种常见的模型形式,分别针对不同的应用场景和需求.
3.2 DeepSeek推理提示词技巧
3.3 Deepseek官网使用
DeepSeek 支持通过多种方式使用,包括 Web、App 和 API 等
https://chat.deepseek.com/
第三方平台
https://siliconflow.cn/zh-cn/models
https://metaso.cn/
https://console.bce.baidu.com/gianfan/modelcenter/model/buildln/list
https://github.com/deepseek-ai
四、 DeepSeek部署
4.1 DeepSeek服务器
集成客户端下载:将 DeepSeek 大模型能力轻松接入各类软件。访问 DeepSeek 开放平台来获取您的 API key。
https://github.com/deepseek-ai/awesome-deepseek-integration/blob/main/README_cn.md
Cherry Studio 一款为创造者而生的桌面版 AI 助手.或chatbox
https://chatboxai.app/zh
4.2 第三方平台
https://siliconflow.cn/zh-cn/models
https://metaso.cn/
4.3 本地部署
8B:指的是模型的规模,这里的 B 代表十亿,8B 表示该模型具有 80 亿的参数数量。模型参数数量通常与模型的性能和表达能力相关。
Q4:表示模型的量化方式。量化是一种将模型参数从较高精度的数据类型转换为较低精度的数据类型的技术,Q4 通常意味着模型参数被量化为 4 位的数据类型。通过量化,可以在几乎不损失模型性能的情况下,减小模型文件的大小,降低对硬件资源的需求,提高模型的推理速度,使模型能够在资源受限的设备上更高效地运行。
下载ollama
Ollama:
是一个开源的本地化工具,用于在本地运行大型语言模型(如 Llama、Mistral 等),适合开发者或需要私有化部署的用户。
官网地址:https://ollama.ai
安装完成后验证
olama -v
利用Ollama 安装R1-1.5B
ollama run deepseek-r1:1.5b
4.4 满血版
五、DeepSeek-R1训练过程和原理
5.1 DeepSeek核心创新
DeepSeek-R1-Zero 是通过纯强化学习训练的模型,无需监督学习的预训练步骤,直接从基础模型(DeepSeek-V3-Base)出发,通过强化学习来提升推理能力,证明了无需大量人工标注数据和监督学习,仅靠强化学习就能显著提升大模型推理能力,为大模型训练提供了新的路径。
算法创新:提出了改进的强化学习算法 GRPO(Group Relative Policy Optimization),通过分组计算优势函数,避免使用独立的 Critic 模型,有效降低了训练成本,使得大规模强化学习训练更加可行。
5.2 DeepSeek训练过程
DeepSeek-R1 的训练过程主要有以下四个阶段
冷启动微调(Cold Start):收集数千条高质量长链思维(CoT)数据,这些数据需经过格式规范化和多语言对齐处理。然后用这些数据对 DeepSeek-V3-Base 基模型进行监督微调(SFT),使模型输出格式规范、可读性强,为后续强化学习提供稳定的初始策略。
面向推理的强化学习(Reasoning-Oriented RL):将冷启动 SFT 后的检查点输入模型,采用分组相对策略优化(GRPO)算法,通过规则奖励如答案准确性、格式一致性来驱动模型优化。同时引入语言一致性奖励,减少多语言混合现象,将准确性奖励与语言一致性奖励相加形成最终奖励函数,增强模型在数学、代码、科学等领域的复杂推理性能。
拒绝采样与监督微调(Rejection Sampling & SFT):从第二阶段的 RL 检查点通过拒绝采样生成约 60 万条推理数据,筛选正确的推理轨迹,并结合生成式奖励模型判断质量。同时复用 DeepSeek-V3 的 SFT 数据集中的写作、翻译等非推理数据约 20 万条,形成总计约 80 万样本的混合数据集,对模型进行两轮监督微调,平衡推理与非推理能力。
全场景强化学习(RL for All Scenarios):把第三阶段 SFT 后的检查点输入模型,对于推理任务沿用规则奖励,通用任务使用神经奖励模型评估人类偏好,如最终答案的实用性、全响应的无害性。结合不同场景的提示数据,如用户查询、角色扮演等进行多提示分布训练,在收敛的检查点上进一步优化,最终得到 DeepSeek-R1 模型,使其兼具推理能力和通用性,提升在开放域问答、长文本理解等任务中的稳健性,与人类偏好对齐。
总结
----------------------------------------------------------------------------------
六、deepseek离线安装
因公司配置了个研发云电脑 无外网,本文特别记录离线部署的过程。
下载模型:魔搭社区 :https://www.modelscope.cn/home
LM Studio 和 Ollama 都是用于本地运行大型语言模型(LLM)的工具,但它们在设计目标、使用方式和适用场景上有显著区别.
6.1 方式一: ollama部署
- 官网下载 https://ollama.com/
# 安装后验证
ollama -v
- 将下载的模型放入指定文件夹中,并增加Modelfile配置文件,去掉后缀.
- 加载模型
# 加载模型
ollama create name -f D:\DeepseekModel\Modelfile
# 查看
ollama list
6.2 方式二: LmStudio部署
- 官网下载:https://lmstudio.ai/
- 将模型放入模型目录配置路径的下2层中
- 加载模型
6.3 集成加载
使用Cherry Studio/ChatBox/Anything LLM等客户端界面集成
集成工具:https://github.com/deepseek-ai/awesome-deepseek-integration/blob/main/README_cn.md
Anything LLM下载:https://docs.useanything.com/
1️⃣ Chatbox - 这个轻量级的多模型聚合终端,既支持API模式,也能在本地管理。无论你是新手还是老手,都能轻松上手。
2️⃣ Cherry Studio - 无需编程,只需拖拽就能构建企业级知识库工作流,简直是神器!
3️⃣ NotebookLM(谷歌系) - 文档智能解析和实时问答联动,让你随时随地进行知识问答。
4️⃣ AnythingLLM - 全栈私有化部署,开源且可定制,满足你对知识库的所有想象。
5️⃣ ima - 多模态知识引擎,支持图文、音视频混合检索,信息获取更全面。
6️⃣ LM Studio - 本地大模型快速微调加上知识蒸馏,让你的知识库更智能、更高效。
7️⃣ flowith - 低代码AI Agent编排,自动化知识更新,省时省力。
8️⃣ OpenWebUI - 类似ChatGPT的交互界面,丰富的插件生态,让你的知识库更有趣、更易用。
8️⃣ Page Assist
Cherry Studio 调用 LM Studio
LMSTUDIO 提供对外服务
cherrystudio 调用
Chatbox 调用LM Studio
Chatbox 调用ollama
通过反向代理工具(如 Nginx 或 Caddy),将 Ollama 的默认端口 11434 映射到其他端口。
或环境变量中配置OLLAMA_HOST
Page Assist AI 助手
在插件商城下载 Page Assist
https://www.chajianxw.com/
直接拖放到可扩展插件,可网页版使用
AnythingLLM 调用LM Studio
单个对话设置
AnythingLLM 调用ollama
七、deepseek本地知识库搭建
7.1 知识库架构
文本向量化
本地嵌入模型:
BAAI/bge-small-zh-v1.5(中文小模型)
sentence-transformers/all-MiniLM-L6-v2(英文轻量模型)
向量数据库(Vector Database)
FAISS(Facebook开源的CPU高效检索)
Chroma(支持持久化存储的嵌入式数据库)
Qdrant(支持本地部署的Rust高性能引擎)
检索增强生成(RAG)实现
语义检索:基于向量相似度(余弦相似度)
关键词检索:BM25算法作为补充
混合检索策略评分:加权融合两种得分
7.2 cherrystudio
结合特定嵌入模型(如nomic-embed-text)提升回答全面性
。功能较单一,缺乏复杂文档处理能力
7.3 AnythingLLM
核心功能亮点:本地部署、多用户权限管理、支持多种LLM和向量数据库,轻量化易用
返回界面后即可直接使用,与 Chatbox 和 Cherry Studio 不同。
7.4 maxkb
(1)docker 安装
虚拟化启用
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all
安装“WSL”
打开CMD,输入下面代码
wsl --set-default-version 2
wsl --update --web-download
进入Docker官网下载Docker desktop软件。下载地址:https://www.docker.com/products/docker-desktop/
我的Windows11版本的,选择这个AMD64下载.
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
# username: admin
# pass: MaxKB@123..
查看Docker Desktop中是否image和container中都有MaxKB,如下图所示:
点击Docker Desktop中的8080端口进行打开MaxKB。
在网页中的登录界面中输入默认的账号
7.5 ragflow
github上下载ragflow
GitHub地址为:
https://github.com/infiniflow/ragflow
1.git clone https://github.com/infiniflow/ragflow.git
2.直接下载安装包
下载完成后,进入到下载的目录解压文件,因为我们要在doker中运行,所以点击docker,双击进入,内容如下所示
因为默认的配置中,ragflow默认是没有嵌入模型的,所以我们要修改一下配置,让它安装的时候选择有嵌入模型的版本。
打开第一个.env文件,将文件拉到下面的位置,将v0.16.0-slim修改为v0.16.0,修改后如下图所示:
进入到RAGFlow文件所在的docker目录,在右侧空白区域点击鼠标右键,选择“在终端中打开”。
点击后,就会打开Power Shell命令行,接着输入以下的启动命令:
docker compose -f docker-compose.yml up -d
我们再打开浏览器输入:localhost,就能跳转到ragflow的界面了
当向量模型和deepseek都接入到RAGFlow之后,我们就可以在RAGFlow中搭建个人知识库了
WPS接入本地DeepSeek
1.office-ai 下载:
https://www.office-ai.cn/
1、运行WPS,打开或新建任意文档;
2、左上找到文件菜单->选项,在选项页面中找到信任中心 :
3、勾上”受信任的加载项”(如没找到下图的选项,请将wps更新一下)
点“确定“保存对应设置,重开一般会显示。
配置本地模型
附:今日支付宝接入DeepSeek使用。