Wolfram是当今活着的聪明的几个人之一，也是硬核的思考者之一，因为他解读世界的视角是数学和物理学的。他关于计算不可约性的思想，给此后无论如何发展的世界中的AI和人类的角色设定了互不毁灭的定律。Wolfram的历史地位将有可能比肩康德。这本书拨云见日，讲出了ChatGPT底层的原理以及谜团。没有人真正理解为什么语言模型这么厉害，但这本书能告诉你它们的底线在哪里。
——万维钢，科学作家
本书作者斯蒂芬·沃尔夫勒姆是英国著名的计算机科学家，人工智能领域的领军人物，非常有名的极客，被称为“在世的最聪明的人”。作为AI方面的顶级专家，由他写ChatGPT的科普读物，自然是最合适不过。
本书不厚，但却是我近期读到的AI大模型方面讲的最清晰透彻的一本读物。初学者要理解ChatGPT，读这一本书就够了。
2022年11月，美国人工智能研究公司OpenAI正式推出了对话交互式的ChatGPT。它甫一面世，立即风靡世界，席卷全球，这标志着AI进入了大模型时代。在ChatGPT的引领下，人类的一只脚，正开始迈入AI时代。
“从此刻开始，搜索的毛利率将永远、不可逆地进入下降轨道。”——萨提亚·纳德拉(Satya Nadella)，微软公司首席执行官
1
人工智能与ChatGPT的发展
1950年，图灵发表了论文《计算机器与智能》(Computing Machinery and Intelligence)，提到了著名的“图灵测试”，通常认为这是“机器学习(ML)”的第一个里程碑。
2006年，杰弗里·辛顿正式提出深度学习概念，这一年，被称为深度学习元年。
2016年3月，AlphaGo以4比1的成绩战胜了韩国围棋选手李世石，这是人工智能崭露头角的标志性事件。当时的AlphaGo版本结合了深度神经网络和蒙特卡洛树搜索算法。并没有用到GPT这样的大模型。
2018年，OpenAI发布了GPT-1。2020年6月，OpenAI发布了GPT-3。
2022年11月30日，在GPT-3模型基础上，OpenAI发布了ChatGPT。
2021年3月15日，OpenAI发布了GPT-4，目前提供给ChatGPT Plus订阅者使用。
2
大模型乱斗
GPT是一种大模型，是大规模预训练模型，可以简单理解为“大数据量AI模型”。它是指具有巨大参数数量和复杂结构的机器学习模型。这些模型通常由大量的神经网络层和参数组成，可以处理和学习大规模的数据集。大模型一次训练可能需要“高性能集群” 花费 “数天甚至数周”的时间。
大模型通常拥有天文数字的参数，在书中被称为“权重”。以GPT3.5为例，其参数为1750亿。
chatgpt一夜爆火后，国内外的企业纷纷跟进，各种大模型纷纷推出，微软、腾讯（派大星）、阿里、华为、百度（飞浆）都开发了自己的深度学习平台，对大模型进行训练。但是，在综合表现上，chatgpt仍然一骑绝尘。
微软推出的Turing-NLG，有170亿参数。
谷歌推出了号称有1.6万亿模型参数的switch transformer。
百度的“文心一言”
百度的“文心一言”有2650亿个参数。
浪潮信息的大规模预训练模型：源 1.0。参数量是 2457 亿。
科大讯飞的“讯飞星火认知大模型”
2023年5月6日，科大讯飞在成果发布会上正式发布了“讯飞星火认知大模型”。
2023年7月7日，华为发布了AI大模型——盘古3.0版本，参数量1000亿。
阿里的“通义千问”
2023年4月11日，阿里正式推出大语言模型“通义千问”。
另外还有腾讯的混元大模型、京东的ChatJD大模型等等。
3
GPT是AI进化的产物
GPT用的预训练模型是生成式技术（Generative），采用自回归架构，单向预测，通过上文来推测下文，它永远只预测下一个字，这样不断循环来生成新的内容，我们称之为生成式AI。它采用极简架构，走大算力，大数据的技术路线。
2018年，GPT发布几个月后，谷歌发布了另外一种预训练模型BERT，称之为检索式AI，与GPT用的单向模型不同，它是双向的，通过检索语料库来生成回答。
检索式AI是在大数据量的基础上，让AI找到正确答案，而生成式AI是对于让AI自己去判断什么是正确答案，然后提供给用户。检索式AI做的是完型填空，而生成式AI做的是文字接龙。
在起初两种模型的博弈中，GPT1.0所用的生成式技术处于下风。生成式AI的效率和准确度远远低于检索式AI，人们在严肃的商业场合都在使用BERT，比如Siri。
到了GPT2.0的时候，事情突然现了转机。人们突然发现，在提高了数据量后，GPT居然无师自通地拥有了好几项技能，如文本摘要，如翻译。这说明，对于AI来说，生成式前途不可估量。
于是，OpenA公司在GPT模型上投入巨资，开发3.0。
某种能力在较小的模型中不存在，只在较大的模型中存在，模型规模必须要指数级增长超过某个临界点，新技能才会突飞猛进。
ChatGPT是通用预训练语言大模型。对于ChatGPT，有一件事乍看起来平平无奇，但是却细思极恐。我们知道，ChatGPT是通过文字用自然语言与人们交流的，这就要求它熟练掌握语法规则。如句子通常由主语、谓语和可能的宾语组成。名词前面可以有形容词，后面可以有动词，但是两个名词通常不会挨在一起。ChatGPT并不明确了解这些规则，我们也没有把这些规则输入到大模型中。但是在训练过程中，它自己发现了这些规则，并灵活地遵守它们。而我们并不清楚ChatGPT是如何做到这一点的。
目前GPT可以出色地生成文本，可是，我们并不能解释，为什么我们赋予的大模型能够起作用，我们也不能准确地指出，GPT是如何一步步工作的。我们所做的，只是提供大量的文本和一个近似的模型，然后，对它进行训练，就是看着GPT自我学习。而GPT哪一天到底学会了什么，我们无从知道，也无法预测。佛教有“渐悟”和“顿悟”，GPT是顿悟的，他的的新技能是突然“涌现”的，当模型规模（参数）突破某个临界点后，终于有一天，量变产生了质变，GPT进化了，这个进化的细节，我们无从得知。
凯文·凯利1994年所著的《失控：机器、社会与经济的新生物学》就讲到了这种关于复杂系统的进化、涌现和失控情况，失控的意思是，由于缺乏中心控制，群集系统是效率相对较低、不可预测、不可知、不可控的。但也由此获得进化的无限可能。按照凯文·凯利的理论，通过内部神经元的个体进化，我们可以获得模型整体能力的涌现。GPT作为人工智能神经网络大模型，也符合群集系统的特点。
在我们的训练下，AI正在自我进化。目前，GPT已经毫无征兆地学会了情感分析，那么，AI什么时候会有自主意识，什么时候会产生情感，我们并不知道，但是，我们知道，这件事早晚会到来。
4
AI幻觉与大模型造假
假如2030年大模型还没有创造太多经济价值，最有可能的解释便是其可靠性不足。我们先看一张图片：
在这里，我们让AI给我们提供一部有李鸿章角色的电影。我们发现，AI的回答驴唇不对马嘴。首先，并没有一部叫《风云天地》的电影，它介绍电影其实名叫《宋家皇朝》，但是，导演对不上，演员也不完全对。可以肯定的是，GPT一定有这部影片的相关资料，那么，它为什么会给出这种错误百出的答案，它在和我们开玩笑吗？
OpenAI发布了一篇《GPT-4技术报告》，里面重点提到了大模型的幻觉(Hallucination)。其中说GPT-4有产生幻觉的倾向，即“产生与某些来源无关的荒谬或不真实的内容”，“一本正经地胡说八道”，用我们易于理解的话来说，就是“杜撰”。也许，对于GPT，就和我们考试一样，遇到一时半会答不出的题，就算胡诌也得答上一大篇，能拿几分算几分。
微软必应聊天机器人团队中的一些专家则有下面看法，他认为认为幻觉等于创造力，大模型试图利用它掌握的所有数据，产生最连贯的句子，不管是对是错。AI就是在演戏，人类喜欢看什么，就演成什么样。关键他还演得特别像，特别一本正经，让人真假难辨。
AI幻觉对人类肯定是有害的，但是对于AI本身，也许是产生情绪、修改与智慧的必要途径。
5
你们都是虫子
ChatGPT是一种AI能力集成，它并不局限在文本对答，而是能够进入任何领域。
对于图片和声音，AI已经处理得游刃有余。AI已经学会了看图说话，理解图片中的意思，更可以按照人类给的指令生成图片，对于翻译和理解人类的声音，对于AI已经属于基本操作。
有理由相信，当我们给AI安上机器人的四肢和五官，AI就可以读懂和驱动世界，最后，AI可能会逐步发展出自己的世界。
那么，未来世界将会是怎样的？我们可以从以下几部影片中看看可能的方向。
影片《机器管家(1999)》
在电影《机器管家》中，安德鲁是一台机器人，在主人马丁家中担任管家。他学会了绘画、写诗，憧憬爱情，渴望成为一个真正的人。在马丁家中，他过了两个世纪，不断进化，终于成为了一个真正的人，就在他被人类社会认可的时候，他去世了，而死亡也是人与AI的区别之一。
影片《人工智能(2001)》，斯皮尔伯格导演
在电影《人工智能》中，机器人大卫是一个小男孩，被人类家庭抛弃。他一直希望成为一个真正的孩子，希望真正地被爱。为了实现这个愿望，他踏上了冒险的旅程。二千年后，人类已经灭亡，外星人发现了他，将他视为一个传奇的存在，提取了他的记忆，为他制造了完美的一天。
在上面的影片中，AI对人类没有恶意，并且爱护和守护着人类，也渴望成为人类。著名的科幻小说作家艾萨克·阿西莫夫创造了“机器人三大定律”，如果机器人不遵守这三大定律呢，在机器人眼中，是不是会象三体人看地球人那样认为“你们都是虫子”呢？
影片《机械姬(2014)》
在电影《机械姬》中，通过了图灵测试的AI，在谋杀了实验室的全部工作人员后，成功地逃了出去，融入了人类社会。
电影《终结者(1984)》，导演詹姆斯·卡梅隆，主演施瓦辛格
在电影《终结者》中，称为“天网”（Skynet）的机器人AI控制着一支强大的军队，试图灭绝人类。
6
本书作者
本书的英文版书名《What Is ChatGPT Doing ... and Why Does It Work?》，2023年3月9日出版，112页。
本书作者沃尔夫勒姆认为自然界是用编程语言写的，基于此，2009年，他设计了计算型知识引擎 Wolfram Alpha 。这是是一款在线自动问答系统，用户用自然语言对它提问，它可以自主生成答案，而不是像其他的搜索引擎一样返回相关网页的链接。它一出现，就被称为“Google终结者”。
Wolfram Alpha的页面
Wolfram Alpha 是微软的必应和苹果公司的Siri后台所使用的问答系统之一。
沃尔夫勒姆开发了Wolfram语言作为新型普适性多模态编程语言，主要用于科学计算和技术应用。在2014年的电影《星际穿越》中黑洞的引力透镜将就是用这个语言实现的，在2016年的科幻电影《降临 Arrival》中，Wolfram 语言参与了外星语言的设计创造。
电影《降临(2016)》中能通晓过去未来的外星语言
随着ChatGPT等人工智能技术的发展，人机交互将变得更加智能化和自然化。这可能会改变我们与计算机和机器的交互方式，让人们更容易与技术进行沟通和协作。ChatGPT等人工智能技术的出现为人类带来了许多机遇和挑战。关键在于我们如何理智地应用和管理这些技术，以确保其对人类社会的影响是积极和可持续的。
推荐阅读
作者：[美] 斯蒂芬·沃尔弗拉姆（Stephen Wolfram）
译者：WOLFRAM传媒汉化小组
国内首部由世界顶级 AI 学者、科学和技术领域重要的革新者、“第一个真正实用的人工智能”搜索引擎WolframAlpha发明人斯蒂芬·沃尔弗拉姆对 ChatGPT 最本质的原理的解释的权威之作！
OpenAI CEO，ChatGPT 之父山姆·阿尔特曼、世界顶级的 AI 学者，机器人界的巨擘，MIT 教授，多家知名机器人公司创始人，美国工程院院士罗德尼·布鲁克斯、量子位联合创始人，总编辑李根、科学作家，“得到”APP《精英日课》专栏作者万维钢联袂推荐。
