人工智能算法与运用场景汇总
一、算法策略汇总:
深度学习算法
深度学习是机器学习的一个分支,它利用神经网络模型来模拟人脑的工作方式,从而进行模式识别和预测。深度学习算法在语音识别、图像处理和自然语言处理等领域有着广泛的应用。例如,在语音识别领域,深度学习算法可以通过分析语音信号的特征,实现高效准确的语音转文字功能。
支持向量机算法
支持向量机(SVM)是一种分类算法,它通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。SVM在文本分类、图像识别和生物信息学等领域有着广泛的应用。例如,在图像识别领域,SVM可以通过训练学习识别不同类型的图像,从而用于人脸识别、目标检测等任务。
决策树算法
决策树是一种监督学习算法,它通过构建树状图来对新的数据进行分类或者回归预测。决策树算法具有简单直观的优点,在金融、医疗和物流等领域有着广泛的应用。例如,在金融领域,决策树算法可以通过分析客户的历史数据来预测其未来的信用风险,帮助银行等金融机构做出更加合理的信贷决策。
聚类算法
聚类算法是一种无监督学习算法,它通过将相似度高的数据点划分为同一组来实现数据的分类和组织。聚类算法在市场细分、图像分割和社交网络分析等领域有着广泛的应用。例如,在市场细分领域,聚类算法可以通过分析消费者的购买行为和喜好来将市场划分为不同的细分市场,帮助企业更好地了解客户需求并制定更加精准的市场营销策略。
二、算法汇总:
1.线性回归
线性回归(Linear Regression)可能是最流行的机器学习算法。线性回归就是要找一条直线,并且让这条直线尽可能地拟合散点图中的数据点。它试图通过将直线方程与该数据拟合来表示自变量(x 值)和数值结果(y 值)。然后就可以用这条线来预测未来的值!
这种算法最常用的技术是最小二乘法(Least of squares)。这个方法计算出最佳拟合线,以使得与直线上每个数据点的垂直距离最小。总距离是所有数据点的垂直距离(绿线)的平方和。其思想是通过最小化这个平方误差或距离来拟合模型。
例如,简单线性回归,它有一个自变量(x 轴)和一个因变量(y 轴)
比如预测明年的房价涨幅、下一季度新产品的销量等等。听起来并不难,不过线性回归算法的难点并不在于得出预测值,而在于如何更精确。为了那个可能十分细微的数字,多少工程师为之耗尽了青春和头发。
2.逻辑回归
逻辑回归(Logistic regression)与线性回归类似,但逻辑回归的结果只能有两个的值。如果说线性回归是在预测一个开放的数值,那逻辑回归更像是做一道是或不是的判断题。
逻辑函数中Y值的范围从0到1,是一个概率值。逻辑函数通常呈S 型,曲线把图表分成两块区域,因此适合用于分类任务。
比如上面的逻辑回归曲线图,显示了通过考试的概率与学习时间的关系,可以用来预测是否可以通过考试。
逻辑回归经常被电商或者外卖平台用来预测用户对品类的购买偏好。
3.决策树
如果说线性和逻辑回归都是把任务在一个回合内结束,那么决策树(Decision Trees)就是一个多步走的动作,它同样用于回归和分类任务中,不过场景通常更复杂且具体。
举个简单例子,老师面对一个班级的学生,哪些是好学生?如果简单判断考试90分就算好学生好像太粗暴了,不能唯分数论。那面对成绩不到90分的学生,我们可以从作业、出勤、提问等几个方面分开讨论。
以上就是一个决策树的图例,其中每一个有分叉的圈称为节点。在每个节点上,我们根据可用的特征询问有关数据的问题。左右分支代表可能的答案。最终节点(即叶节点)对应于一个预测值。
每个特征的重要性是通过自顶向下方法确定的。节点越高,其属性就越重要。比如在上面例子中的老师就认为出勤率比做作业重要,所以出勤率的节点就更高,当然分数的节点更高。
4.朴素贝叶斯
朴素贝叶斯(Naive Bayes)是基于贝叶斯定理,即两个条件关系之间。它测量每个类的概率,每个类的条件概率给出 x 的值。这个算法用于分类问题,得到一个二进制“是 / 非”的结果。看看下面的方程式。
朴素贝叶斯分类器是一种流行的统计技术,经典应用是过滤垃圾邮件。
用非术语解释贝叶斯定理,就是通过A条件下发生B的概率,去得出B条件下发生A的概率。比如说,小猫喜欢你,有a%可能性在你面前翻肚皮,请问小猫在你面前翻肚皮,有多少概率喜欢你?
当然,这样做题,等于抓瞎,所以我们还需要引入其他数据,比如小猫喜欢你,有b%可能和你贴贴,有c%概率发出呼噜声。所以我们如何知道小猫有多大概率喜欢自己呢,通过贝叶斯定理就可以从翻肚皮,贴贴和呼噜的概率中计算出来。
5.支持向量机
支持向量机(Support Vector Machine,SVM)是一种用于分类问题的监督算法。支持向量机试图在数据点之间绘制两条线,它们之间的边距最大。为此,我们将数据项绘制为 n 维空间中的点,其中,n 是输入特征的数量。在此基础上,支持向量机找到一个最优边界,称为超平面(Hyperplane),它通过类标签将可能的输出进行最佳分离。
超平面与最近的类点之间的距离称为边距。最优超平面具有最大的边界,可以对点进行分类,从而使最近的数据点与这两个类之间的距离最大化。
所以支持向量机想要解决的问题也就是如何把一堆数据做出区隔,它的主要应用场景有字符识别、面部识别、文本分类等各种识别。
6.K- 最近邻算法(KNN)
K-最近邻算法(K-Nearest Neighbors,KNN)非常简单。KNN 通过在整个训练集中搜索 K 个最相似的实例,即 K 个邻居,并为所有这些 K 个实例分配一个公共输出变量,来对对象进行分类。
K的选择很关键:较小的值可能会得到大量的噪声和不准确的结果,而较大的值是不可行的。它最常用于分类,但也适用于回归问题。
用于评估实例之间相似性的距离可以是欧几里得距离(Euclidean distance)、曼哈顿距离(Manhattan distance)或明氏距离(Minkowski distance)。欧几里得距离是两点之间的普通直线距离。它实际上是点坐标之差平方和的平方根。
KNN分类示例
KNN理论简单,容易实现,可用于文本分类、模式识别、聚类分析等。
7.K-均值
K-均值(K-means)是通过对数据集进行分类来聚类的。例如,这个算法可用于根据购买历史将用户分组。它在数据集中找到K个聚类。K-均值用于无监督学习,因此,我们只需使用训练数据X,以及我们想要识别的聚类数量K。
该算法根据每个数据点的特征,将每个数据点迭代地分配给K个组中的一个组。它为每个K-聚类(称为质心)选择 K 个点。基于相似度,将新的数据点添加到具有最近质心的聚类中。这个过程一直持续到质心停止变化为止。
生活中,K-均值在欺诈检测中扮演了重要角色,在汽车、医疗保险和保险欺诈检测领域中广泛应用。
8.随机森林
随机森林(Random Forest)是一种非常流行的集成机器学习算法。这个算法的基本思想是,许多人的意见要比个人的意见更准确。在随机森林中,我们使用决策树集成(参见决策树)。
(a)在训练过程中,每个决策树都是基于训练集的引导样本来构建的。
(b)在分类过程中,输入实例的决定是根据多数投票做出的。
随机森林拥有广泛的应用前景,从市场营销到医疗保健保险,既可以用来做市场营销模拟的建模,统计客户来源、保留及流失,也可以用来预测疾病的风险和病患者的易感性。
9.降维
由于我们今天能够捕获的数据量之大,机器学习问题变得更加复杂。这就意味着训练极其缓慢,而且很难找到一个好的解决方案。这一问题,通常被称为“维数灾难”(Curse of dimensionality)。
降维(Dimensionality reduction)试图在不丢失最重要信息的情况下,通过将特定的特征组合成更高层次的特征来解决这个问题。主成分分析(Principal Component Analysis,PCA)是最流行的降维技术。
主成分分析通过将数据集压缩到低维线或超平面 / 子空间来降低数据集的维数。这尽可能地保留了原始数据的显著特征。
可以通过将所有数据点近似到一条直线来实现降维的示例。
10.人工神经网络(ANN)
人工神经网络(Artificial Neural Networks,ANN)可以处理大型复杂的机器学习任务。神经网络本质上是一组带有权值的边和节点组成的相互连接的层,称为神经元。在输入层和输出层之间,我们可以插入多个隐藏层。人工神经网络使用了两个隐藏层。除此之外,还需要处理深度学习。
人工神经网络的工作原理与大脑的结构类似。一组神经元被赋予一个随机权重,以确定神经元如何处理输入数据。通过对输入数据训练神经网络来学习输入和输出之间的关系。在训练阶段,系统可以访问正确的答案。
如果网络不能准确识别输入,系统就会调整权重。经过充分的训练后,它将始终如一地识别出正确的模式。
每个圆形节点表示一个人工神经元,箭头表示从一个人工神经元的输出到另一个人工神经元的输入的连接。
三、运用场景汇总
场景1:自然语言处理
在这几大人工智能技术分支中,自然语言处理(简称:NLP)算是最基础也是应用最广的AI技术之一。
受益于近年大语言模型(LLM)的高速发展,硅基大脑的语言处理能力也得到飞速提升。
目前自然语言处理已经包含自动问答、内容摘要、信息检索、文本识别解析、机器翻译、内容生成等多方面的能力。表现在具体的落地场景中,则涵盖了AI聊天、问答、写作、翻译、信息抽取等我们常见和常用的各方面。
往细了分,比如司普科技AI写作同时又包含文案、稿件、故事、诗歌等通用文体的写作和论文、综述、教学材料、偏差报告、运维报告等专业文体的写作。这意味着,多元化的业务需求可能催生多样化的应用场景。
此外,随着大模型多模态能力的增强和在各种任务场景中的泛化,通过文字输入生成图片、音视频,甚至代码、游戏等都成了可能。以上放大了自然语言处理这一人工智能技术的价值和商用范围。
场景2:计算机视觉
计算机视觉(简称:CV)是AI领域发展较早,也是先于其他领域爆火的AI技术之一。早在2015年前后就掀起了人脸识别、刷脸支付的热潮,还催生了国内最早一批AI独角兽创业公司。
计算机视觉搭配生物识别技术让人们看到了AI大规模商用的可能。
目前计算机视觉凭借在特征提取、图像生成与处理、目标检测、立体视觉等方面的优势,被广泛用于自动驾驶、智能监控、安防巡更、图片检索、医学影像处理等场景。
计算机视觉技术的发展,让AI能力变得可视化,也极大拓展了AI的使用场景,加速推动其赋能千行百业。
场景3:智能语音
智能语音是和自然语言处理、计算机视觉联系最为紧密,且应用范围相对较广的AI技术之一。
早期的智能语音技术主要集中在语音识别(ASR)、基础性的语音转化(TTS、STT)等领域,主要应用于业务指引、客户服务、外呼营销、智能家居等场景。
眼下随着语音合成技术的逐渐成熟,AI配音、AI音乐创作、智能语音助手、数字员工等方面的应用越发广泛。
而硅基大脑通过吸收大量知识经验,深度学习人类的吐词习惯、节奏变换、语速语调等,几乎可以做到“收放自如”。
以AI音乐创作为例,语音合成加上自然语言处理(写歌词/台词)和计算机视觉(补充画面/配图)的助攻,有些甚至能做到“一曲惊人”,媲美真实人类水准。
场景4:生物特征识别
生物特征识别(Biometrics)是人工智能的另一大应用技术方向,它和计算机视觉、智能语音等有部分的交叉。
比如涉及人脸识别等视觉特征的处理时,会用到计算机视觉技术。进行声纹识别时,会涉及语音识别技术。但同时三者又有所区别,尤其表现在声音、步态等非视觉特征的识别和处理上。
目前,生物特征识别在安防监控、身份核验等方面有或深或浅的应用,同时擅长生理特征(如指纹、虹膜、面相、DNA等)及行为特征(如步态、笔迹、声音、击键习惯等)方面的识别。在刑侦鉴定、门禁考勤、金融支付等特定领域应用更广。
场景5: 具身智能
具身智能作为机器人技术的重要分支,是近两年发展最快,也备受瞩目的人工智能技术方向和赛道。
从实现路径与实际用途看,具身智能同时也是自然语言处理、智能语音、计算机视觉、生物特征识别等AI技术的集大成者。
比如人形机器人接受语音指令并完成相应任务,就涉及语音识别、语义理解、逻辑推理、对话交互、物体识别分类等多方面的能力