运行loader()函数时,出现UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xd4 in position


ChatGLM-6B是一个由清华大学和智谱AI联合研发的开源对话语言模型。它是一个支持中英双语问答的对话系统,并在中文方面进行了特别的优化。
该模型基于General Language Model (GLM)架构,具有62亿参数。借助模型量化技术,用户可以在消费级的显卡上进行本地部署,INT4量化级别下最低只需6GB显存。ChatGLM-6B使用了和ChatGLM相同的技术,针对中文问答和对话进行了优化经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。
总之,ChatGLM-6B在语言生成和对话方面表现出了非常出色的能力,可以广泛应用于人机交互、自然语言处理、智能客服等领域。

代码调用演示

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b&

猜你喜欢

转载自blog.csdn.net/weixin_45751925/article/details/131660510