笔记深度学习入门1 sigmoid函数阶跃函数 RELU函数 softmax函数

阶跃函数和sigmoid均为非线性函数，神经网络的激活函数必须使用非线性函数，以为线性函数的话加深神经网络的层数就没有意义了。线性函数的问题在于，不管如何加深层数，总是存在与之等效的”无隐藏层的神经网络”
为了发挥叠加层带来的优势，激活函数必须使用非线性函数
sigmoid为一条平滑的曲线，它的平滑性对于神经网络的学习具有重要意义。

用python画阶跃函数：

import numpy as np
import matplotlib.pylab as plt

def step(x):
    return np.array(x > 0,dtype = np.int)

if __name__ == '__main__':
  x = np.arange(-5.0,5.0,0.1)
  y = step(x)
  plt.plot(x,y)
  plt.ylim(-0.1,1.1)
  plt.show()

ReLu函数:

import numpy as np
import matplotlib.pylab as plt


def relu(x):
    return np.maximum(0, x)

x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y)
plt.ylim(-1.0, 5.5)
plt.show()

在这里插入图片描述

3.5.3 softmax函数的特征

通过减去输入信号中的最大值，结果更加准确，我们可以这样实现softmax函数:

import numpy as np
def softmax(a):
 c = np.max(a)
 exp_a = np.exp(a-c) #溢出对策
 sum_exp_a = np.sum(exp_a)
 y = exp_a/sum_exp_a
 return y

下面计算神经网络的输出:

a = np.array([0.3,2.9,4.0])
y = softmax(a)
print(y)

[0.01821127 0.24519181 0.73659691]

**如上所示, softmax函数的输出是0.0到1.0之间的实数。并且, softmax函数的输出值的总和是1。输出总和为1是softmax函数的一个重要性质。**正因为有了这个性质,我们才可以把 softmax函数的输出解释为“概率”。
比如,上面的例子可以解释成y[0]的概率是0.018(1.8%),y[1]的概率是0.245(24.5%),y[2]的概率是0.737(73.7%)从概率的结果来看,可以说“因为第2个元素的概率最高,所以答案是第2个类别”。而且,还可以回答“有74%的概率是第2个类别,有25%的概率是第1个类别,有1%的概率是第0个类别”。也就是说,通过使用 softmax函数,我们可以用概率的(统计的)方法处理问题。
这里需要注意的是,即便使用了 softmax函数,各个元素之间的大小关系也不会改变。这是因为指数函数(y=exp(x是单调递增函数。实际上,上例中a的各元素的大小关系和y的各元素的大小关系并没有改变。比如,a的最大值是第2个元素,y的最大值也仍是第2个元素。
一般而言,神经网络只把输出值最大的神经元所对应的类别作为识别结果。并且,即便使用 softmax函数,输出值最大的神经元的位置也不会变。因此,神经网络在进行分类时,输出层的 softmax函数可以省略。在实际的问题中,由于指数函数的运算需要一定的计算机运算量,因此输出层的 softmax函数一般会被省略。
①“
求解机器学习问题的步骤可以分为“学习"和“推理”两个阶段。首
先,在学习阶段进行模型的学习,然后在推理阶段,用学到的
模型对未知的数据进行推理(分类)。如前所述,推理阶段一般会省略输出层的 softmax函数。在输出层使用 softmax函数是因为它和神经网络的学习有关系
3.5.4输出层的神经元数量
输出层的神经元数量需要根据待解决的问题来决定。对于分类问题,输出层的神经元数量一般设定为类别的数量。比如对于某个输入图像,预测是图中的数字0到9中的哪一个的问题(10类别分类问题),可以将输出层的神经元设定为10个。

生成二维数组:


b = np.array([[1,2],[3,4],[5,6]])
print(b)

C:\Users\14172\PycharmProjects\pythonProject3\venv\Scripts\python.exe C:/Users/14172/PycharmProjects/pythonProject3/DeepLearning/init.py
[[1 2]
[3 4]
[5 6]]`