中文能力赶超GPT4模型ChatGLM2-6B最新发布,教你使用 CPU 本地安装部署运行实现

ChatGLM2-6B 是一个清华开源的、支持中英双语的对话语言模型,基于GLM架构,具有62亿参数。结合模型量化技术,ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练(全量仅需13GB显存,INT4 量化级别下最低只需 6GB 显存)虽然智商比不过 openAI 的 ChatGPT 模型,但是最近最新发布的ChatGLM2-6B 是个在部署后可以完全本地运行,可以自己随意调参,配合API模式可以实现自行构建知识库。

 

目录

前言

部署过程

硬件与软件准备

<

猜你喜欢

转载自blog.csdn.net/weixin_41259045/article/details/131494621