Tensorflow 笔记：第四讲
神经网络优化
4.1
√神经元模型：用数学公式表示为：为激活函数。神经网络是以神经元为基本单元构成的。
√激活函数：引入非线性激活因素，提高模型的表达力。
常用的激活函数有 relu、sigmoid、tanh等。
① 激活函数 relu: 在Tensorflow 中，用 tf.nn.relu()表示
relu() 数 学 表 达 式 relu() 数 学 图 形
② 激活函数 sigmoid：在Tensorflow中，用 tf.nn.sigmoid()表示
sigmoid () 数 学 表 达 式 sigmoid() 数学 图 形
③ 激活函数 tanh：在 Tensorflow 中，用 tf.nn.tanh()表示
tanh() 数 学 表 达 式 tanh() 数 学 图 形
√神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示
√神经网路的层数：一般不计入输入层，层数= n 个隐藏层 + 1 个输出层
√神经网路待优化的参数：神经网络中所有参数w 的个数 + 所有参数 b 的个数
例如：
输入层 隐藏层 输出层
在该神经网络中，包含 1 个输入层、1个隐藏层和 1 个输出层，该神经网络的层数为 2 层。
在该神经网络中，参数的个数是所有参数 w 的个数加上所有参数 b 的总数，第一层参数用三行四列的二阶张量表示（即 12 个线上的权重w）再加上 4 个偏置 b；第二层参数是四行两列的二阶张量（）即
8 个线上的权重 w）再加上 2 个偏置b。总参数 = 3*4+4 + 4*2+2 = 26。
√损失函数（loss）：用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。
√常用的损失函数有均方误差、自定义和交叉熵等。
√均方误差 mse：n 个样本的预测值 y 与已知答案 y_之差的平方和，再求平均值。
Ʃ