图像处理与计算机视觉--第七章--深度学习--重要知识点总结

文章目录

第七章深度学习视觉

第七章深度学习视觉

7.1.生物神经元的结构介绍以及突触的具体功能

7.1.1.生物神经元结构介绍

神经元是脑组织的基本单元，是神经系统结构与功能的单位。
生物神经网络中各神经元之间连接的强弱，按照外部的激励信号作适应变化，而每个神经元又随着所接受的多个激励信号的综合结果旱现出兴奋和抑制状态。’
神经元在结构上由细胞体、树突、轴突和突触四部分组成如图1所示。
在这里插入图片描述

7.1.2.突触结构介绍以及具体功能

突触是神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入输出的接口。
在这里插入图片描述

7.2.基于delta规则的线性神经元的两种学习方式及特点

下列给出一道例题来对比两种学习方式的异同:
题目数据如下所示，请分别给出基于delta规则的两种学习方式的线性回归方程:
在这里插入图片描述
线性函数计算公式如下所所示:
$\\ E=t-y=t-wx(误差) \\ \Delta W=\beta Ex (收重变化量) \\ W_{new}=W_{old}+\Delta W(极重更新)$

7.2.1.基于遍历学习的学习方式

遍历学习就是在每一次输入模式表达之后就进行权重的更新的调整方式叫做遍历学习。
基于遍历学习的计算过程如下所示：
$\begin{aligned} \text{遍历学习:}\\ & 设W_{0}=0.5,\beta=0.1 & \\ &\textcircled{1}x=1,y=0.5\times1=0.5E=0.75-0.5=0.25 \\ &\quad w^{1}=0.5+0.1\times0.25\times1=0.525\\ &\textcircled{2}x=2,y=0.525\times2=1.05E=1.53-1.05=0.48\\ &\quad w^{2}=0.525+0.1\times0.48\times2=0.621\\ &\textcircled{3}x=3\Rightarrow w^{3}=0.7641 \\ &\textcircled{4}x=4\Rightarrow w^{4}=0.8215 \end{aligned}$

7.2.2.基于批量学习的学习方式

批量学习就是当所有的输入模式都处理完之后，再进行一个平均意义上的权重调整，这个就是批量学习，目标就是需要去减少整个模式的平均误差。
基于批量学习的计算过程如下所示：
$\begin{aligned}第一周期:\\ \textcircled{1}&\quad x_1=1,\quad y_1=0.5\times1=0.5,E_1=t-y_1=0.25\\ \textcircled{1}&\quad x_2=2,\quad y_2=0.5\times2=1, E_2=t-y_2=0.53\\\textcircled{3}&\quad x_3=3,\quad y_3=0.5\times3=1.5,z_3=t-y_3=0.84\\\textcircled{4}&\quad x_4=4,\quad y_4=0.5\times4=2,E_4=t-y_4=1.2\\&\quad\Delta w^{\prime}=\beta\left(\frac1{n}\sum_{i=1}^{n}\mathbb{E_{i}},X,\right)\\&=0.1\times\frac{1}{4}\left(0.25\times1+0.53\times2+0.84\times3+1.2\times4\right)\\&=0.2158\end{aligned}$

$\begin{aligned}第二周期：\\ &y_{1}=0.7158,E_{1}=0.342 \\ &y_{2}=1.4316,E_{2}=0.0984 \\ &y_{3}=2.1474,E_{3}=0.1926 \\ &y_{4}=2.8632,E4=0.3368 \\ &\Delta w^{2}=0.0539 \\ &w^{2}=w^{\prime}+\Delta w^{2}=0.7697 \end{aligned}$

$\begin{aligned}第3个周期:\\ &\Delta W^3=0.013475\\ &W^3=0.783175 \\ \end{aligned}$

7.3.浅度学习与深度学习区别

区别于传统的浅层学习，深度学习的不同在于:
$\bullet$ 强调了模型结构的深度，通常有5层、6层甚至10多层的隐层节点。
$\bullet$ 明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。
$\bullet$ 与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

7.4.BP学习与深度学习的区别

$\bullet$ BP神经网络: 采用迭代算法来训练整个网络。随机设定初值，计算当前网终的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛
$\bullet$ 深度学习: 如果对所有层同时训练，时间复杂度会太高，如果每次训练一层，偏差逐层传递会出现过拟合。因此深度学习整体上是一个分层训练机制。
$\bullet$ 神经网络与深度学习并不等价，神经网络只是深度学习可以采用的众多模型中的其中一种
$\bullet$ 由于神经网络模型可以使用误差反向传播算法，从而可以比较好地求解权值问题，因此神经网络模型成为深度学习中主要采用的模型。

7.5.拟合、过拟合、超参数、验证集的简介

$\bullet$ 1.拟合从数学图像角度来说就是将一组平面图像上的点用平滑的曲线连接起来。在深度学习中平面图像上的点就是数据特征（验证集样本特征值），然后用线将已经学到的数据特征连接起来，这样才称为拟合。
$\bullet$ 2.过拟合(overfitting)：指算法模型在训练集上的性能非常好，但是泛化能力很差，泛化误差很大，即在测试集上的效果却很糟糕的情况。

$\bullet$ 3.超参数：模型的外部配置变量，需要手动设置，好的超参数可以进一步提高模型的性能。
$\bullet$ 2.1.机器学习模型中一般有两类参数：
$\bullet$ 2.1.1.一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。比如，线性回归直线的加权系数（斜率）及其偏差项（截距）都是模型参数。
$\bullet$ 2.1.2.一类则是机器学习算法中的调优参数（tuning parameters)，需要人为设定，称为超参数(Hyperparameter)。比如，正则化系数λ，决策树模型中树的深度。
$\bullet$ 4.验证集：主要用于模型调试超参数。通常要求验证集比较大，避免模型会对验证集过拟合。

7.6.CNN主要特点介绍

卷积神经网络(ConvolutionalNeuralNetworks,CNN) 是一类包含卷积计算且具有深度结构的前馈神经网络。
络基本的卷积神经网络的结构如图所示:
在这里插入图片描述
$\bullet$ 卷积过程: 卷积神经网络中的特征提取过程，每人神经元的输入与前一层的局部感受野相连，并提取该局部的特征,如下所示:

$\bullet$ 池化过程: 求取区域平均值或者最大值。降低卷积层特征维度，提高畸变容忍能力,如下所示：
在这里插入图片描述
卷积神经网络结构主要结构特性:
$\bullet$ 卷积神经网络的一个特性是局部连接。如果每个神经元只与上一层中的部分神经元相连接，就是一维卷积网络。将其由一维扩展到二维，就是卷积神经网络。
$\bullet$ 卷积神经网络另一个特性是权值共享。如图，每一个颜色的线代表一类卷积核，每个神经元用的是同一个卷积核去卷积图像。不同的颜色代表不同的卷积核。而同一个颜色的卷积核在卷积图像时参数是共享的不变化，这样就大大减少了参数。
$\bullet$ 卷积神经网络的优点就在于局部连接和权值共享减少了神经网络需要训练的参数的个数，并且使用卷积来提取多维(d>-2)空间特征。
在这里插入图片描述

7.7.主要深度学习开发框架

$\bullet$ 1.Caffe:
Caffe是一个高效的深度学习框架，它源自于加州大学伯克利分校，由C++开发。
Caffe可以被用于图像分类、目标识别、图像分割等领域，同样也可用于处理非图像数据的分类、回归问题。
$\bullet$ 2.TensorFlow：
TensorFlow是谷歌公司研发的第二代人工智能学习系统，已被用于语音识别、图像识别等多个领域
TensorFlow使用灵活，不仅支持CNN、RNN和LSTM等深度学习算法还支持一般机器学习算法的搭建。
TensorFlow支持分布式计算，可以同时在多GPU上进行训练，并能够在不同平台上自动运行模型，具备较高性能。
$\bullet$ 3.MindSPore:
MindSPore是华为公司研发的一种深度学习框架，2020年首发并开源华为希望通过这款完整的软件框架，实现一次性算子开发、一致的开发和调试体验，并以此帮助开发者实现一次开发，应用在所有设备上平滑迁移的能力
$\bullet$ 4.PaddlePaddle
$\bullet$ 5.Theano
$\bullet$ 6.Torch
$\bullet$ 7.Marvin
$\bullet$ 8.ConvNetJs