神经网络(一)

一．神经元与感知机

1. 神经元是神经网络的基本组成。

神经网络的神经元，是模仿生物的神经元结构。图像如下：

为了形象理解，可以将上图简化如下：

在这个神经元中，input的feature 可以有很多维度, output也可以有很多的 layer。

1. 感知机

(1)    感知机是网络神经的基础，感知机也被称为单层神经网络(即，单个神经元也称作感知机)

(2)    感知机的一大缺陷是无法解决线性不可分问题，想要解决这一问题，需要将原来线性不可分的样本映射到另一个特征空间去，在该空间样本线性可分，映射方法主要有两种:

①  人工指定映射方法

手动指定映射的方法，代表为核函数(核方法)

②  自动寻找映射方法

使用机器学习的方法自动获得映射方法，代表为神经网络。

1. 多层感知机

(1)    第一层为输入层，最后一层为输出层，中间为隐藏层。

(2)    ANN(浅层神经网络)人工神经网络有两个或两个以上隐藏层，成为DNN(深度神经网络)

(3)    如果感知机层数越多(即网络越长)，基础学习率相对就要越小，否则loss不容易收敛。当loss不收敛时，可能是基础学习率不够小，也可能是过拟合，也可能是数据集有问题。

(4)    如果是回归，output层没有非线性激活函数；如果是分类，output层有非线性激活函数。而hidden层通常都为非线性激活函数。