目录
一、概念
1.激活函数实现去线性化
加了激活函数和偏置项
tensorflow提供了其中不同的非线性激活函数，也可以自定义
多层网络解决抑或问题
二、损失函数
神经网络模型的效果以及优化的目标是通过损失函数来定义的
1. 分类问题：
判断输出向量与期望的向量的距离：交叉熵：刻画两个概率分布之间的距离
Softmax将神经网络的输出变成了一个概率分布
2. 对于回归问题，
最常用损失函数韦均方误差MSE(mean squared error)
3.自定义损失函数
三、参数优化
神经网络的优化分为两个阶段：1.通过前向传播算法计算得到预测值，并与真实值求差 2. 根据反向传播函数计算损失函数对每一个参数求梯度，再根据梯度和学习率使用梯度下降法更新每一个参数