大模型的实践应用11-“书生”通用大模型的搭建与模型代码详细介绍,以及快速使用方法

大家好,我是微学AI,今天给大家介绍一下大模型的实践应用11-“书生”通用大模型的搭建与模型代码详细介绍,以及快速使用方法。“书生” 通用大模型是上海人工智能实验室研制的大模型,并且已经开源了“书生·浦语”大模型70亿参数的轻量级版本InternLM-7B。InternLM-7B模型主要是基于transformers架构中的解码器开发改造的,架构中运用RMSNorm归一化方法、RotaryEmbedding(旋转位置嵌入)方法、注意力机制与解码器层的改造搭建起来的。该模型利用数以万亿计的高质量数据tokens进行训练,并且以建立一个强大的知识库,为用户灵活地构建自己的工作流提供了一个通用的工具集。

一、“书生”通用大模型

2023年7月6日,上海人工智能实验室(上海AI实验室)与商汤科技联合多家高校发布全新升级的“书生通用大模型体系”。于此同时,上海AI实验室正式开源了“书生·浦语”大模型70亿参数的轻量级版本InternLM-7B, 并推出首个面向大模型研发与应用的全链条开源体系,贯穿数据、预训练、微调、部署和评测五大环节。 InternLM-7B向学术研究完全开放,同时支持免费商用。
在这里插入图片描述

二、InternLM-7B模型评估

InternLM-7B模型使用开源评估工具 OpenCompass 进行了全面的评估。评价包括五个能力维度: 学科能力、语言能力、知识能力、推理能力和理解能力。下面是与 LLaMA-7B、Baichuan-7B、ChatGLM2-6B、Alpaca-7B、Vicuna-7B进行了比较评估,结果如下:

Dat

猜你喜欢

转载自blog.csdn.net/weixin_42878111/article/details/134748831
今日推荐