因去年开发出ChatGPT,OpenAI亏损5.4亿美元

研发具有创新性的 ChatGPT 究竟给其背后的公司 OpenAI 带来了什么?

据 The information 报道,ChatGPT 的诞生不仅给 OpenAI 带来了前所未有的关注度,吸引了微软“多年、数十亿美元”投资扩展。

更为不容忽视的是,对于这家开发了 ChatGPT 的初创公司而言,因为大模型需要耗费巨大的算力资源和数据,以及其背后运营也要付出不菲的开销,仅是在 2022 年,OpenAI 总计损失达到了 5.4 亿美元,与之形成鲜明对比的则是其产生的收入只有 2800 万美元。

img

*训练、运行 ChatGPT 需要花费多少钱?*

那要问 OpenAI 为什么会亏得这么厉害,想必不少人都会直接说一句:不砸钱必定搞不出大模型。

其实自去年 11 月 OpenAI 推出 ChatGPT 以来,外界对于 ChatGPT 的运行成本持以高度好奇。

一直以来,OpenAI 并没有直接对外公开过具体的开销成本。不过,很多网友还是找到了蛛丝马迹,推算出了大概。

据悉,最早在 2020 年,OpenAI 使用的是 Google 云服务,彼时花费高达 7500 万美元,直到后来使用微软的 Azure 平台,才逐渐减少云服务托管方面的支出。

然而,此前微软曾在博客上透露,「为支持 OpenAI 模型的落地,其不仅使用了上万颗 GPU,也花费了数亿美元」:

当时为了支持 OpenAI 训练大模型,微软开发了一套新的 Azure 人工智能超级计算技术,也在 Azure 中建立超级计算资源,这些资源的设计和专用性使 OpenAI 能够训练一套日益强大的 AI 模型。

为了训练出这套模型,微软在基础设施中使用了数以千计的英伟达人工智能优化 GPU,它们被连接在一个高吞吐量、低延迟的网络中,该网络基于英伟达量子 InfiniBand 通信,用于高性能计算。

扫描二维码关注公众号,回复: 15097274 查看本文章

对此,促成微软和 OpenAI 合作的关键人物——负责战略合作伙伴关系的微软高级主管 Phil Waymouth 表示,OpenAI 训练其模型所需的云计算基础设施的规模是前所未有的,比业内任何人试图建立的网络 GPU 集群都要大得多。后来据彭博社报道,微软在该项目上已经花费了数亿美元。

正是基于此,微软的 Azure 云如今托管 ChatGPT 项目,这样 OpenAI 就不必投资物理机房。

有外媒曾分析过,考虑到微软目前的收费标准,一个 A100 GPU 的费用是每小时 3 美元,ChatGPT 上生成的每个词的费用是 0.0003 美元。至少有八个 GPU 在使用,才能在一个 ChatGPT 上运行。因此,按照 ChatGPT 生成的回复通常至少有 30 个单词来计算,只要 ChatGPT 回复一次,OpenAI 公司将花费近 1 美分。通过这样的估算,OpenAI 每天可能要花费至少 10 万美元或每月 300 万美元的运行成本。

此外,研究公司 SemiAnalysis 的首席分析师 Dylan Patel 曾在接受采访时表示,当使用 ChatGPT 写求职信、生成课业规划和在约会应用上润色个人简介等操作时,每天可能会烧掉 OpenAI 多达 70 万美元,每次查询要花掉 36 美分。这是因为 ChatGPT 需要大量的计算能力来对用户的提示词做出快速响应。

与此同时,从算力角度来看,有分析表明,目前一个 NVIDIA A100 GPU 可以在大约 6 毫秒内运行一个 30 亿个参数的模型。按照这个速度,单个 NVIDIA A100 GPU 大约需要 350ms 秒才能在 ChatGPT 上输出一个单词。由于 ChatGPT-3.5 拥有超过 1750 亿个参数,且目前 ChatGPT 每秒大约能够输出 15-20 个英文单词,所以如果用户想要获得单个查询的输出结果,背后需要至少 8 个 A100 GPU 来执行操作。

其实,大模型无论是闭源还是开源,非常耗钱这件事,只要从事 AI 模型方面的从业者,心里都有数。此前,Meta 在发布开源的 LLaMA 大模型时,在论文中也提到,“当训练一个 65B 参数的模型时,我们的代码在 2048 A100 GPU 和 80GB 的内存上处理大约 380 个 token /秒/GPU。这意味着在我们包含 1.4T 标记的数据集上进行训练大约需要 21 天。”

img

为此,也有微博博主@BohuTANG 做了一下换算:

2048 个 GPU * 21*24 * 1$ ~ 100w刀,这还是确定数据集和参数后一次的训练成本

img

毋庸置疑,参数量更大、数据集更广的 ChatGPT 即使没有透露出具体的训练、运行成本,只是想想,也不会低。

*招揽顶尖的人才也是一笔不菲的开销*

当然,OpenAI 支出与收入之间形成巨大落差的根源,不仅是训练语言模型的高成本,还有一部分花在了聘请昂贵的技术人才上。

今年 2 月,有外媒曾报道,OpenAI 已经从 Google 挖走了超过 12 名 AI 方面的技术专家。而就在 OpenAI 推出 ChatGPT 之前,便有至少 5 名前 Google 研究人员参与其中。

其中,Google 前研究人员 Barret Zoph、Liam Fedus、Luke Metz、Jacob Menick 和 Rapha Gontijo Lopes 等人都出现在了 OpenAI 官宣 ChatGPT 博客文章的致谢部分。

img

与此同时,OpenAI 联合创始人、首席科学家 Ilya Sutskever 也曾是 Google Brain 团队成员。他曾在 2012 年与 Alex Krizhevsky、Geoffrey Hinton 共同提出了著名的 AlexNet,推动了深度学习的革命。2015 年,他从 Google 离职,于次年加入了 OpenAI。现如今,他也是 ChatGPT、GPT-4 背后最为重要的主导者之一。

招揽这些顶尖的人才,OpenAI 除了营造舒适的学术、研究、商业氛围之外,薪酬、福利待遇也是必不可缺的。

据纽约时报报道,2016 年,OpenAI 向 Ilya Sutskever 支付了超过 190 万美元。

另外,根据 OpenAI 官方的招聘信息显示,其在招的职位超过 40 个,普通的 ChatGPT 软件工程师、机器学习研究科学家的薪资水平在 20 万美元 - 37 万美元(约 138.2 万-255.7 万元人民币)。

img

主管的级别更高一些,薪资也会随之提升,譬如 ChatGPT 移动端工程主管的薪酬在 30 万美元至 50 万美元(约 207.4 万-345.6 万元人民币)。

img

相较而言,如果是直接挖过去的人才,预估薪酬会更高一些,毕竟能力和薪酬往往成正比。

*外媒:OpenAI CEO 计划融资 1000 亿美元,为实现 AGI 而奋斗*

当然为了保证 OpenAI 可持续研究 AI 的脚步,有消息人士透露,OpenAI CEO Sam Altman 可能打算在未来几年内筹集高达 1000 亿美元的资金,用于实现公司创建通用人工智能(AGI)的目标。

现实来看,随着 ChatGPT 用户量的增多,支出将水涨船高。

一方面,为支持语言模型和训练新版本,OpenAI 预期在云计算方面投入会比以往更大。

另一方面,随着 Reddit 和 StackOverflow、Twitter 等平台纷纷发声,想要拒绝被“白嫖”,欲向 AI 模型公司收取访问器先前免费数据集的费用。此前据《纽约时报》报道,埃隆·马斯克在发现 OpenAI 每年只支付 200 万美元后终止了 OpenAI 对 Twitter 数据集的访问。因此,在新的一年里,要想获取更多新的数据集,OpenAI 的数据成本无疑也将飙升。

最后,虽然在今年年初,微软表示,将向 OpenAI 投资数十亿美元。不过,据 The Verge 透露,作为这项投资的一部分,微软在前期有权获得 OpenAI 75% 的利润,直到它收回投资的 100 亿美元,以及微软早期投资该公司的额外 30 亿美元。随后当 OpenAI 的利润达到 920 亿美元后,微软获得 OpenAI 利润的比例降至 49%。最后,当 OpenAI 的利润达到 1500 亿美元之后,OpenAI 才能获得公司 100% 的股份。这期间,微软还获得了对 OpenAI 软件的优先访问权,使其能够将 OpenAI 的软件连同其利用 OpenAI 技术的人工智能产品一起转售给其 Azure 客户。

为此,OpenAI 亏损去年翻倍,也便不足为奇。不过,随着 OpenAI 推出 ChatGPT Plus、API 等付费服务逐渐走上“正轨”,OpenAI 预计 2023 年的收入为 2 亿美元。也有一些投资者认为,ChatGPT 在未来的某一个时点,可能成为该公司的赚钱利器。而当下,OpenAI 至少已经实现了在大模型领域处于领跑地位。

猜你喜欢

转载自blog.csdn.net/linjie_830914/article/details/130547776
今日推荐