人工智能 (AI)术业入门了解

人工智能 (AI)

最早开始于1950 年，阿兰图灵发表了“计算机器与智能”。

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能利用计算机和机器模仿人类思维的问题解决和决策制定能力。 AI 是一个非常广泛的领域，涵盖了很多子领域，如机器学习、计算机视觉、语音识别、自然语言处理等。

人工智能发展三要素:数据、算法、计算力（CPU,GPU,TPU）其中CPU主要适合IO密集型任务，GPU主要适合计算密集型任务。计算密集的程序：所谓计算密集型的程序，就是其大部分运行时间花在寄存器运算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延迟，可做一下对比，读取内存的延迟大概几百个时钟周期，读硬盘的速度就不说了，即使是ssd,也是很慢的。

人工智能、机器学习和深度学习 覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工智能的方式。深度学习是机器学习算法中最热门的一个分支，近些年取得了显著的进展，并替代了大多数传统机器学习算法。

数据科学

数据科学是一门多学科交叉的综合学科，包含数据获取、数据分析、数据管理、机器学习、统计优化和数据可视化等内容，逐渐成为探明大数据集本源，并把大数据转换成可执行智能的有效方法。

数据挖掘不是新产生的东西，它在很多年前就被提出了。随着近几年人工智能领域受到关注，数据挖掘也开始被人提起。数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

自然语言处理NLP

NLP是自然语言处理的缩写，是指使用计算机科学和人工智能技术处理和分析人类自然语言的一种技术。现代NLP是一门融合了语言学、计算机科学和机器学习的混合学科。它旨在让计算机能够理解、处理和生成人类所使用的自然语言。NLP可应用于文本分类、信息提取、机器翻译、语音识别、情感分析、问答系统、自然语言生成等众多领域。

它的工作原理是这样的：

接收自然语言，这种语言是通过人类的自然使用演变而来的，我们每天都用它来交流。
转译自然语言，通常是通过基于概率的算法。
分析自然语言并输出结果。

简而言之，这就是一个创建算法的过程。

机器学习

经典的或“非深度”的机器学习更依赖于人类的干预进行学习。人类专家确定特征的层次结构，以了解数据输入之间的差异，通常需要更多结构化数据以用于学习。

模型参数

模型参数是模型内部的配置变量，其值可以从数据中估计出来。参数是机器学习算法的关键。它们是从历史训练数据中学习到的模型的一部分。

深度学习

可将深度学习视为“可扩展的机器学习”。

深度学习中的“深度”指的是由三层以上的神经网络组成，包括输入和输出，可以被认为是一种深度学习算法。

深度学习和机器学习的不同之处在于每个算法的学习方式。深度学习可以自动执行过程中的大部分特征提取，消除某些必需的人工干预，并能够使用更大的数据集。

"深度"机器学习则可以利用标签化数据集，也称为监督式学习，来确定算法，但不一定必须使用标签化数据集。它可以原始格式（例如文本、图像）采集非结构化数据，并且可以自动确定区分不同类别数据的特征的层次结构。

框架之Tensorflow

TensorFlow 是由 Google 团队开发的深度学习框架之一，它是一个完全基于 Python 语言设计的开源的软件。TensorFlow 的初衷是以最简单的方式实现机器学习和深度学习的概念，它结合了计算代数的优化技术，使它便计算许多数学表达式。

神经网络

神经网络是深度学习的基础，它是由多个神经元组成的网络，每个神经元接收来自其他神经元的输入，并通过激活函数将这些输入转换为输出。神经网络可以通过反向传播算法来训练，从而优化网络的权重和偏置，使其能够更好地拟合数据。

神经网络，也称为人工神经网络 (ANN) 或模拟神经网络 (SNN)，是机器学习的一个子集，也是深度学习算法的核心。其名称和结构均受到人脑的启发，可模仿生物神经元相互传递信号的方式。

人工神经网络 (ANN) 由节点层组成，包含一个输入层、一个或多个隐藏层和一个输出层。每个节点也称为一个人工神经元，它们连接到另一个节点，具有相关的权重和阈值。如果任何单个节点的输出高于指定的阈值，那么该节点将被激活，并将数据发送到网络的下一层。否则，不会将数据传递到网络的下一层。

神经网络依靠训练数据来学习和随时间推移提高自身精度。然而，这些学习算法经过精度调优后，就会成为计算机科学和人工智能领域中的强大工具，可支持我们快速进行数据分类和分组。语音识别或图像识别方面的任务可能仅需几分钟即可完成，而由人类专家手动识别可能需要数小时时间。 最著名的神经网络之一是 Google 的搜索算法。

大语言模型

大语言模型（Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

LLM 是经过大量文本数据训练的神经网络。训练过程允许模型学习文本中的模式，包括语法、句法和单词关联。这些模型使用这些学习到的模式来生成类似人类的文本，使其成为自然语言处理(NLP)任务的理想选择。

拿 GPT（Generative Pre-trained Transformer） 来说， GPT 其实出现了好几代，GPT 3 它有 45 TB 的训练数据，那么整个维基百科里面的数据只相当于他训练数据的 0. 6%。我们在这个训练的时候把这个东西称作语料，就语言材料，这个语料的量是可以说是集中到我们人类所有语言文明的精华在里面，这是一个非常非常庞大的一个数据库。

经过这样的一个量的学习之后，它产生的一些就是做 AI 的这些计算机学家们，他们没有想到会有这种变化，无法合理解释这一现象的产生即——当数据量超过某个临界点时，模型实现了显著的性能提升，并出现了小模型中不存在的能力，比如上下文学习（in-context learning）。就引起了两个问题，各大AI巨头提高训练参数量以期达到更好的效果，由于质变原因的无法解释带来的AI安全性考量。

大语言模型涌现的能力

上下文学习。GPT-3 正式引入了上下文学习能力：假设语言模型已经提供了自然语言指令和多个任务描述，它可以通过完成输入文本的词序列来生成测试实例的预期输出，而无需额外的训练或梯度更新。
指令遵循。通过对自然语言描述（即指令）格式化的多任务数据集的混合进行微调，LLM 在微小的任务上表现良好，这些任务也以指令的形式所描述。这种能力下，指令调优使 LLM 能够在不使用显式样本的情况下通过理解任务指令来执行新任务，这可以大大提高泛化能力。
循序渐进的推理。对于小语言模型，通常很难解决涉及多个推理步骤的复杂任务，例如数学学科单词问题。同时，通过思维链推理策略，LLM 可以通过利用涉及中间推理步骤的 prompt 机制来解决此类任务得出最终答案。据推测，这种能力可能是通过代码训练获得的。

AutoML

就是自动化机器学习， auto machine learning