一、人工智能的兴起。
1、前序。
艾伦·麦席森·图灵； 是计算机科学之父。
著名英国数学家、计算机科学家、逻辑学家和密码分析学家，被誉为计算机科学与人工智能之父。
阿兰・图灵（Alan Turing） 是译名（简称）。
- 1936年，向伦敦权威的数学杂志投一篇论文《论可计算数及其在判定问题上的应用》。
- 1950年，发表了一篇划时代的论文《计算机机械与智能》。
图灵机、图灵测试。
文中预言了如何创造出具有真正智能的机器的可能性？
有A、B、C 三个玩家，各自在独立空间中；让C来根据A B 的回答猜测A、B的性别。
A的工作是来迷惑C让C尽可能错误，
B的工作是来配合C让C尽可能正确；
现在将A换成电脑，如果回答能和之前一样，那么说明计算机A通过了图灵测试。
如果一台机器能够与人类展开对话（通过电传设备），且不能被参与测试的 30% 以上的人类裁判辨别出其机器身份，那么则称这台机器具有人类智能。
2、NLP发展。
NLP 是 自然语言处理（Natural Language Processing） 的缩写，是人工智能（AI）和计算机科学的一个重要分支，专注于让计算机理解、解释和生成人类语言。NLP 结合了语言学、计算机科学和机器学习的技术，旨在实现人机之间的自然语言交互。
2.1、NLP核心任务。
- 自然语言理解（NLU, Natural Language Understanding）：
- 让计算机理解人类语言的含义。
- 包括词法分析、句法分析、语义分析等。
- 例如：理解用户输入的问题或命令。
- 自然语言生成（NLG, Natural Language Generation）：
- 让计算机生成符合语法和语义的自然语言文本。
- 例如：自动生成新闻报道、对话回复或摘要。
- 语言翻译：
- 将一种语言自动翻译成另一种语言。
- 例如：谷歌翻译、DeepL 等工具。
- 文本分类：
- 对文本进行分类或打标签。
- 例如：垃圾邮件过滤、情感分析（判断文本是正面还是负面）。
- 信息抽取：
- 从文本中提取结构化信息。
- 例如：从新闻中提取人名、地点、时间等。
- 问答系统：
- 根据用户的问题提供准确的答案。
- 例如：智能客服、搜索引擎中的问答功能。
- 语音识别与合成：
- 将语音转换为文本（语音识别），或将文本转换为语音（语音合成）。
- 例如：语音助手（如 Siri、Alexa）。
- 文本摘要：
- 从长文本中提取关键信息，生成简短的摘要。
- 例如：新闻摘要、论文摘要。
- 对话系统：
- 实现人机对话。
- 例如：聊天机器人、虚拟助手。
2.2、NLP 的关键技术。
- 分词（Tokenization）：
- 将文本分割成单词或词组。
- 例如：中文分词工具（如 Jieba）。
- 词性标注（POS Tagging）：
- 为每个单词标注词性（如名词、动词、形容词等）。
- 句法分析（Parsing）：
- 分析句子的语法结构。
- 语义分析（Semantic Analysis）：
- 理解文本的含义，包括词义消歧、实体识别等。
- 机器学习与深度学习：
- 使用机器学习算法（如 SVM、随机森林）和深度学习模型（如 RNN、LSTM、Transformer）来处理语言数据。
- 预训练语言模型：
- 如 BERT、GPT 等，通过大规模数据预训练，提升 NLP 任务的效果。
2.3、NLP 发展。
- 基于规则模型
早期研究主要依赖规则定义的模型，这些规则需要大量人力精心设计，且随着规则增多，可能引发冲突。此外，模型无法回答规则库之外的问题。然而，由于规则由专业人士定义，在特定领域表现高效，能以20%的投入实现80%的效果。这类模型适用于解决重复性任务，如电商客服、电话机器人等。 - 基于统计方法的模型
在1980-1990这个年代，人们开始利用基于统计概率的模型。
基于马尔可夫假设，一个词语出现的概率，只和前面的n个词语有关 而与更早的词语或者往后的词语都无关。
因此自然就产生了二元模型（一个词语出现的概率只和它前面的一次词语有关） 和 n元模型（一个词语出现的概率跟它前n-1个词语有关），但是随着n的增大你所需要记录的概率分布就会呈现指数倍的增加，这导致了n不可能无限放大；放到模型上，就是说不能有一个很长的上下文，这个就是典型的长距离依赖问题；
- 基于神经网络的模型
基于神经网络的NLP模型，比如我们熟知的CNN（卷积神经网络） RNN（循环神经网络），神经网络启发于我们人脑的工作逻辑，其中著名的hebbian理论阐述了人脑神经元的形态。
RNN（循环神经网络）