神经网络学习(一)——感知器分类算法

最近,学习了一下神经网络的相关知识。写一篇博客,做思路整理。

神经网络包含input layer、hidden layer、output layer三层。(考虑真实神经原传输信号的过程)

感知器分类算法只适用于可以线性分割的数据!!!!!

相关概念:

 

训练样本X = \begin{bmatrix} x_{1} \\ ... \\ x_{m} \end{bmatrix},权重向量W = \begin{bmatrix} w_{1} \\ ... \\ w_{m} \end{bmatrix}z= {w_{1} x_{1} + ... +w_{m}x_{m} }(这个过程叫向量的点乘)。

激活函数(单元步调函数):\phi (z)=\left\{\begin{matrix} 1 \, \, \, \, if \,\,\, z\geq \theta \\ -1 \, \, \, \, otherwise \end{matrix}\right.,用来分类。(注意,这是一个线性激活函数)

阈值(偏置)\theta初始的阈值根据“经验”给出,随着模型的训练,会更新

学习速率:\eta,是0到1比区间内的小数

步骤:

1.把权重向量初始化为0,或把每一个分量初始化为0到1间的任意小数。(w_{0} = -\theta \,\,\,\,\,\, x_{0} =1,相乘的结果就是阈值。这样做的目的是为了计算方便,只需要判断Z的值是大于0还是小于0)

2.把训练样本输入感知器,得到分类结果(-1或1)

3.根据分类结果更新权重向量和阈值

权重更新算法:

W(j)=W(j)+\bigtriangledown W(j)

\bigtriangledown W(j)=\eta *(y-y^{'})*X(j)

扫描二维码关注公众号,回复: 4292341 查看本文章

y是输入样本的正确分类,y^{'}是感知器计算出来的分类。

阈值更新方法\theta =W(0)+\bigtriangledown W(0)

整体思路图如下:

猜你喜欢

转载自blog.csdn.net/weixin_41846267/article/details/83031757