神经网络核心内容

1. 神经网络模型

基本单元是“M-P神经元模型”：$y=f(wx-\theta)$，$f$是激活函数，常见的有Sigmoid函数、reLu函数。令$x'=(x,-1),w'=(w,\theta)$，则上面的函数可以表示为$y=f(w'x')$。
输入神经元+“M-P神经元”构成的模型叫做“感知机”。感知机按照下公式迭代更新：$w_i'=w_i-\eta \Delta y_i x_i$
多层前馈神经网络：层之间全连接，层内无连接，跨层无连接。

2. 误差逆传播算法

误差逆传播（BP）算法用于训练多层神经网络。更新的原则是：正向计算值，逆向计算误差，然后使用梯度法更新每个神经元的参数。
用均方差来定义误差$E=\Sigma_j\Delta y_j^2/2$，并且有$y_j=f(\theta_j)$，$\theta _j= \Sigma_h w_{h,j}b_h$，则均方差$E$对倒数第二层参数$w_{h,j}$的负梯度为：$-\eta \Delta y_j f'(\theta_j)b_h$（这四项分别为：学习率、均方差偏导、激活函数偏导、线性函数偏导）。$b_h=f(\alpha _h)$，$\alpha_h=\Sigma _iv_{i,h}x_i$，均方差对倒数第三层参数$v_{i,h}$的负梯度为：$-\eta \Sigma_j(\Delta y_jf'(\theta_j) w_{h,j})f'(\alpha _h)x_i$。
令$g_j=-\Delta y_j f'(\theta_j)$，$e_h=\Sigma_j(g_jw_{h,j}) f'(\alpha _h)$，则可以简单表示为：$\Delta w_{h,j}=\eta g_jb_h$，$\Delta v_{i,h}=\eta e_hx_i$。
同样的，若还有一层，则令$c_i=\Sigma_h (e_hv_{i,h})f'(\lambda_i)$，有$\Delta m_{k,i}=\eta c_ia_k$，依次类推。

3. 过拟合问题

防止过拟合的策略主要有2种：
1. 早停策略：验证集误差上升，则停止。
2. 正则化：加上复杂度的惩罚项，比如加上所有权值的平方。