中国计算机和软件 China Computer & Software MaaS Model as a Service 模型即服务 MaaS Model as a Service

研究报告

中国计算机和软件 China Computer & Software
MaaS Model as a Service 模型即服务
MaaS Model as a Service

股票名称 评级
商汤集团 Outperform
科大讯飞 Outperform Outperform

全面实行股票发行注册制改革正式启动,或带来证券 IT 全新增量需求
(Full Implementation of Stock Issuance Registration System Reform Officially
Launched, May Bring New Incremental Demand for Securities IT) (2 Feb
2023)
商汤作为富时全球指数成分股候选将被评估,美国投资者或可投资商汤
(Sense Time Group Will Be Evaluated as an FTSE Global Index Constituent
Candidate, U.S. Investors May Be Able to Invest in Sense Time Group) (2 Feb
2023)
计算机行业跟踪周报 295 期:计算机行业春季行情综述(Computer
Industry Weekly Report (295): Computer Industry Spring Market Preview)
(29 Jan 2023)
(Please see APPENDIX 1 for English summary)
大模型是人工智能的发展趋势和未来。大模型是“大算力+强算法”
结合的产物。目前,大模型生态已初具规模。大模型能够实现 AI
从“手工作坊”到“工厂模式”的转变,大模型通常是在大规模无标注
数据上进行训练,学习出一种特征和规则,基于大模型进行应用开
发时,将大模型进行微调,或者不进行微调,就可以完成多个应用
场景的任务;并且,大模型具有自监督学习能力,不需要或很少需
要通过人工标注的数据进行训练,降低训练成本,因而能够加速 AI
产业化进程,降低 AI 应用的门槛。另外,随着大模型不断地迭
代,大模型能够达到更强的通用性以及智能程度,从而使得 AI 能
够更广泛地赋能各行业应用。我们认为,大模型是人工智能的发展
趋势和未来。
模型公司将是 AI 世界的基础类公司。大模型在能力泛化与技术融
合方面的优势,使其在应用支撑方面具有先进性;同时大模型做到
了相对标准化,能够降低 AI 技术应用于下游场景的成本。因此,
大模型在 AI 产业链中将承担“基础设施”式的功能,作为底座将 AI
技术赋能千行百业。我们认为,模型公司能够发挥大模型作为 AI
基础设施与底座的能力,基于大模型“大规模预训练﹢微调”的范式
满足 AI 产业链下游各行业客户的应用需求,模型公司将成为 AI 世
界中的基础类公司。
模型公司将对科技公司竞争格局带来颠覆。2022 年 11 月 30 日,
OpenAI 发布 ChatGPT,一款人工智能技术驱动的自然语言处理工
具,能够通过学习和理解人类的语言来进行对话和互动,甚至能完
成撰写邮件、视频脚本、文案、翻译、代码等任务。ChatGPT 对搜
索领域或带来巨大冲击。由于 ChatGPT 能够与用户进行交流明确需
求并具备文本生成能力进行回复,其相对于传统搜索引擎在输入端
和输出端都具有难以替代的优势。因而 ChatGPT 可能对搜索带来一
个重大变化:用户将会转向聊天机器人寻求帮助,而不是通过谷
歌提供的网站进行过滤。同时,技术上,ChatGPT 也可能会降低搜
索引擎的门槛。可以说,ChatGPT 已经真真切切地改变了搜索领
域,对众多科技公司产生了巨大的挑战。
MaaS 将成为人工智能公司的核心商业模式。模型是 MaaS 的最重
要基座;单点工具,如基于 GPT 3.5 的 ChatGPT,是大模型的直接
产品;可以预见,随着未来大模型的发展持续进行,大模型以及其
产生的产品的应用场景将会持续扩展。MaaS 公司的收费已经开
始,ChatGPT 采取订阅制收费模式,并且收费版的 ChatGPT Plus 的
确拥有广泛的市场空间;

Feb-22 May-22 Aug-22 Nov-22 Feb-23
HAI China Computer & Software MSCI China
7 Feb 2023 2
[Table_header1] 中国计算机和软件
类似的 AI 聊天公司 Jasper 分三档同样实施订阅服务的收费。而除了模型本身进行订阅
收费以外,嵌入其他产品获得引流式收入也是模式之一,例如,微软宣布推出高级付
费版 Microsoft Teams Premium,订阅者可享用由 OpenAI GPT-3.5 提供支持的“智能回顾
(Intelligent Recap)”这一重要功能,该功能将提供自动生成的会议记录、推荐任务和
个性化标亮;微软旗下 Dynamics 365 产品线宣布旗下客户关系管理软件 Viva Sales 也
将集成 OpenAI 的技术,通过人工智能帮助销售人员完成许多繁杂且重复的文字工
作。其它的收费模式还包括不同的 Model应对不同的客户需求和客户定价,如 OpenAI
在推出 ChatGPT 以前,其主要收入来源于对外部客户开源自身大模型,通过提供 API
接口调用来收费。客户的要求越高,使用的模型越好,那么大模型的收费也将会更
高。
建议关注。商汤集团,云从科技,科大讯飞,百度,华为。
风险提示。行业应用不及预期,AIGC 技术发展不及预期的风险。
7 Feb 2023 3
[Table_header2] 中国计算机和软件
1.大模型是人工智能的发展趋势和未来
大模型,又称为预训练模型、基础模型等,是“大算力+强算法”结合的产物。大模型
通常是在大规模无标注数据上进行训练,学习出一种特征和规则。基于大模型进行
应用开发时,将大模型进行微调,如在下游特定任务上的小规模有标注数据进行二
次训练,或者不进行微调,就可以完成多个应用场景的任务。
迁移学习是预训练技术的主要思想。当目标场景的数据不足时,首先在数据量庞大
的公开数据集上训练基于深度神经网络的 AI 模型,然后将其迁移到目标场景中,通
过目标场景中的小数据集进行微调,使模型达到需要的性能。在这一过程中,这种
在公开数据集训练过的深层网络模型,即为“预训练模型”。使用预训练模型很大程度
上降低了下游任务模型对标注数据数量的要求,从而可以很好地处理一些难以获得
大量标注数据的新场景。大模型正是人工智能发展的趋势和未来。
1.1 国内外公司与机构竞相研发,大模型生态已初具规模
从参数规模上看,AI 大模型先后经历了预训练模型、大规模预训练模型、超大规模
预训练模型三个阶段,参数量实现了从亿级到百万亿级的突破。从模态支持上看,
AI 大模型从支持图片、图像、文本、语音单一模态下的单一任务,逐渐发展为支持
多种模态下的多种任务。
国外的超大规模预训练模型起步于 2018 年,并在 2021 年进入“军备竞赛”阶段。
2017 年,Vaswani 等提出 Transformer 架构,奠定了当前大模型领域主流的算法架构
基础;Transformer 结构的提出,使深度学习模型参数达到了上亿的规模。2018 年,
谷歌提出了大规模预训练语言模型 BERT,该模型是基于 Transformer 的双向深层预
训练模型,其参数首次超过 3 亿规模;同年,OpenAI 提出了生成式预训练
Transformer 模型——GPT,大大地推动了自然语言处理领域的发展。此后,基于
BERT 的改进模型、ELNet、RoBERTa、T5 等大量新式预训练语言模型不断涌现,预训
练技术在自然语言处理领域蓬勃发展。
2019 年,OpenAI 继续推出 15 亿参数的 GPT-2,能够生成连贯的文本段落,做到初
步的阅读理解、机器翻译等。紧接着,英伟达推出了 83 亿参数的 Megatron-LM,谷
歌推出了 110 亿参数的 T5,微软推出了 170 亿参数的图灵 Turing-NLG。2020 年,
OpenAI 推出了超大规模语言训练模型 GPT-3,其参数达到了 1750 亿,在两年左右的
时间实现了模型规模从亿级到上千亿级的突破,并能够实现作诗、聊天、生成代码
等功能。此后,微软和英伟达在 2020 年 10 月联手发布了 5300 亿参数的 MegatronTuring 自然语言生成模型(MT-NLG)。2021 年 1 月,谷歌推出的 Switch Transformer
模型以高达 1.6 万亿的参数量成为史上首个万亿级语言模型;同年 12 月,谷歌还提
出了 1.2 万亿参数的通用稀疏语言模型 GLaM,在 7 项小样本学习领域的性能超过
GPT-3。可以看到,大型语言模型的参数数量保持着指数增长势头。这样高速的发展
并没有结束,2022 年,又有一些常规业态大模型涌现,比如 Stability AI 发布的文字
到图像的创新模型 Diffusion,以及 OpenAI 推出的 ChatGPT,ChatGPT 是由效果比
GPT3 更强大的 GPT-3.5 系列模型提供支持,并且这些模型使用微软 Azure AI 超级计
算基础设施上的文本和代码数据进行训练。
7 Feb 2023 4
[Table_header2] 中国计算机和软件
图1 国外大模型发展历程
资料来源:IT 之家,人工智能学家公众号,腾讯新闻,HTI
而在国内,超大模型研发展异常迅速,2021 年成为中国 AI 大模型的爆发年。2021
年,商汤发布了书生(INTERN)大模型,拥有 100 亿的参数量,这是一个相当庞大
的训练工作。在训练过程中,大概有 10 个以上的监督信号帮助模型,适配各种不同
的视觉或者 NLP 任务,截至 2021 年中,商汤已建成世界上最大的计算器视觉模型,
该模型拥有超过 300 亿个参数;同年 4 月,华为云联合循环智能发布盘古 NLP 超大
规模预训练语言模型,参数规模达 1000 亿;联合北京大学发布盘古 α 超大规模预训
练模型,参数规模达 2000 亿。阿里达摩院发布 270 亿参数的中文预训练语言模型
PLUG,联合清华大学发布参数规模达到 1000 亿的中文多模态预训练模型 M6;7
月,百度推出 ERNIE 3.0 知识增强大模型,参数规模达到百亿;10 月,浪潮信息发布
约 2500 亿的超大规模预训练模型“源 1.0”;12 月,百度推出 ERNIE 3.0 Titan 模型,
参数规模达 2600 亿。而达摩院的 M6 模型参数达到 10 万亿,将大模型参数直接提
升了一个量级。2022 年,基于清华大学、阿里达摩院等研究成果以及超算基础实现
的“脑级人工智能模型”八卦炉(BAGUALU)完成建立,其模型参数模型突破了 174
万亿个,完全可以与人脑中的突触数量相媲美。
部分公司中国公司虽然目前还没有正式推出自身大模型产品,但是也在积极进行研
发,例如云从科技,公司的研究团队高度认同“预训练大模型+下游任务迁移”的技
术趋势,从 2020 年开始,已经陆续在 NLP、OCR、机器视觉、语音等多个领域开展
预训练大模型的实践,不仅进一步提升了公司各项核心算法的性能效果,同时也大
幅提升了公司的算法生产效率,已经在城市治理、金融、智能制造等行业应用中体
现价值。
而且,中国的超大模型并不落后于国外同类产品,在某些领域还能实现反超。以商
汤科技的书生(INTERN)为例,书生(INTERN)在分类、目标检测、语义分割、深
度估计四大任务 26 个数据集上,基于同样下游场景数据(10%),相较于同期
OpenAI 发布的最强开源模型 CLIP-R50x16,平均错误率降低了 40.2%,47.3%,
34.8%,9.4%。同时,书生只需要 10%的下游数据,平均错误率就能全面低于完整
(100%)下游数据训练的 CLIP。
7 Feb 2023 5
[Table_header2] 中国计算机和软件
图2 “书生”相较于同期最强开源模型 CLIP 在准确率和数据使用效率上均取得大幅提升
资料来源:商汤科技官微,HTI
注:CLIP 为 OpenAI 在 2021 年发布
可以看到,国内外众多公司和研究机构积极开展对大模型的研发。目前,大模型参
数规模最高可达百万亿级别,数据集达到 TB 量级,且面向多模态场景(同时支持文
字、图像、声音、视频、触觉等两种及以上形态)的大模型已成为趋势。大模型生
态已初具规模。
表 1 国内外主要大模型梳理,大模型生态已初具规模
企业 大模型 参数 算力 数据量 模型类型
商汤科技等 书生(INTERN+) 100 亿
商汤 AIDC,峰值算力 3740
Petaflops - 计算器视觉模型
商汤科技 某世界上最大的计算
器视觉模型 300 亿
商汤 AIDC,峰值算力 3740
Petaflops - 计算器视觉模型
清华大学等 “八卦炉”
(脑级 AI 模型)
174 万亿参数
(与人脑中突
出数量媲美)
“海洋之光”超级计算机
(国产超算)
中文多模态数据集 M6-
Corpus 多模态预训练模型
阿里 M6 10 万亿 5 12 块 GPU
1.9TB 图像和 292GB 文

多模态预训练模型
腾讯 “混元”HunYuan_tvr 万亿 腾讯太极机器学习平台 五大跨模态视频检索数
据集 多模态预训练模型
微软和英伟达 Megatron-Turing 5300 亿 280 块 GPU 3390 亿条文本数据 NLP 大模型
百度和鹏城实验室 ERNIW 3.0 Titan 2600 亿
鹏城云脑Ⅱ算力集群(2048 块
CPU)和百度飞桨深度学习平台
纯文本和知识图谱的
4TB 语料库 NLP 大模型
浪潮信息 源 1.0 2457 亿
4095(Pflops-day)/2128 张
GPU
5000GB 高质量中文数
据集 NLP 大模型
OpenAI GPT3.5 1750 亿
3640(Pflops-day)/上万块
V100 GPU 组成的 gao 带宽集群
算力
超过万亿单词的人类语
言数据集 多模态预训练模型
华为云 盘古系列大模型 千亿 鹏城云脑Ⅱ和全场景 AI 计算框
架 MindSpore,2048 块 GPU
40TB 训练数据 多模态预训练模型
中科院自动化所 紫东太初 千亿 昇腾 AI 基础软硬件平台 基于万条小规模数据集 图、文、音三模态
澜舟 孟子 10 亿 16 块 GPU
数百 G 级别不同领域的
高质量语料 多模态预训练模型

完整报告

猜你喜欢

转载自blog.csdn.net/Wis57/article/details/131477777
今日推荐