深度学习入门笔记（二）————线性神经网络，delta学习规则，梯度下降法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013539952/article/details/82623378

一 线性神经网络

 与感知器的区别，感知器激活函数的输出只有两种可能(1,-1)，线性神经网络的输出可取任意值，其激活函数是线性函数。线性神经网络采用LMS算法来调整网络的权值和偏置。

线性神经网络在结构上与感知器相似，但神经元激活函数不同。在模型训练时把sign函数改为purelin函数(y=x)。

二    LMS学习规则

 LMS使神经元实际输出与期望输出之间的平方差最小

 学习信号：  y = x，没有sign

权向量调整量：

如果  ，则  。所以LMS学习规则其实是 δ 的特殊形式。

该学习规则与神经元采用的转移函数（即）无关，因此不需对转移函数求到，学习速率快，有较高的精度。权值可任意初始化。

三   Delta学习规则

δ学习规则是利用梯度下降法的一般性学习规则

代价函数（损失函数）

E是权向量 的函数

由图可知， 要让误差E最小，应与误差的负梯度（梯度即为导数）成正比，即与导数成反比。

 η为正常数，误差梯度为：

 则权值调整公式为：

梯度下降法的问题 

1. 学习率难选取，太大会产生振荡，太小收敛缓慢
2. 容易陷入局部最优解