机器学习十大算法之bp神经网络

bp神经网络

先来了解一下什么是神经网络一个神经网络包含:输入层(输入特征个数)、隐藏层(个数不限制)、输出层(类别)、权重(重要程度)、偏执/阈值(有偏执率)
在这里插入图片描述
在这里插入图片描述
其中还要加上偏执,sgn是激活函数,它是为了防止结果值太大,把结果缩小到一定的范围内。这样得到的结果可能还不太准确,和真实值会有误差,于是我们用最小误差值倒推w,这个思想叫训练也叫bp神经网络
在这里插入图片描述
BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。
在这里插入图片描述
在这里插入图片描述
bp算法一个实际应用
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
其中在这里插入图片描述
是步长
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
其中
在这里插入图片描述
代替
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
问题
在这里插入图片描述
oj是sigmoid的输出它小于1,1-oj也小于1,相乘肯定小于1,可以推算出小于1/4,
从深层到浅层,每一层都有乘一个小于1的值,当返回到输入层时,它的梯度几乎无效了

在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_44517301/article/details/89293197
今日推荐