神经网络与深度学习第一章
目录
什么是神经网络
用神经网络进行监督学习
为什么深度学习会兴起
什么是神经网络
1.1定义
它是一个源于人脑工作机理的强大算法
1.2单元神经网络
我们首先看一个例子，这个例子是一个房价评估问题。我们现在有一些数据，是房子的大小和其对应价格的数据，我们需要根据这些数据设计一个模型，当我们输入房子的大小的时候，能估算出房子的售价。这是一个回归问题，考虑到房价不能是负数，所以我们引入一个函数叫ReLU(Rectified Linear Unit),中文叫做修正线性单元。它是一个从0开始的函数如下图:
单元神经网络是最简单的神经网络，其构成如下：
它由输入，神经元和输出构成，在我们的问题中输入x就是房子的大小，神经元是实现房价预测的ReLU函数，输出有y则是预测的房价，这就是一个最简单的神经网络
1.3多元神经网络
我们再来看一个稍微复杂的问题：同样是预估房价的问题，不过此时房屋的价格可能会受到其他功能的影响，如大小，卧室数量，邮政编码和财富。 如下图所示：房屋的大小和卧室的大小可能会受制于家庭大小，比如一个三口之家可能不会考率去买三室一厅的房子，因为他们并不需要那么多卧室；再比如邮编和财富情况可能会影响孩子的学校地点等等。
我们根据上图的分析构建一个多元神经网络如下图：其中我们所说的大小，卧室数量，邮政编码和财富这些都是我们的输入；那些我们分析的学校地点，家庭大小等是中间的隐藏单元是我们不需要考虑的部分，因为这些隐藏单元由机器自动生成；房子的价格是输出。
这就是一个多元神经网络构成：它由输入，隐藏单元(若干层)和输出构成。
用神经网络进行监督学习
2.1监督学习要干什么？
在监督学习中我们由一系列已知输入输出的数据，我们要根据这些数据找出输入与输出的关系，再根据输入预测输出，比如：我们上面所说的买房问题就是一个监督学习的例子!
监督学习问题分为“回归”和“分类”问题。 在回归问题中，我们试图在连续输出中预测结果，也就是说我们尝试将输入变量映射到某个连续函数。 在分类问题中，我们试图在离散输出中预测结果。 换句话说，我们试图将输入变量映射到离散类别。
下面是一些监督学习的例子：
他们分别是预测问题，广告推荐，照片分类(图像识别的应用)，语音识别，机器翻译和自动驾驶。这些问题都能用神经网络来解决，虽然运用的神经网络有所不同。比如前两个运用的是通用标准的神经网络构架(Universally standard neural network)，图像识别这个领域多用卷积神经网路(CNN)，机器翻译和语音识别会用到循环神经网络(RNN)，至于自动驾驶，它是一种混合神经网络架构。
2.2结构化与非结构化数据
这也是我们总听人提及的概念，结构化数据是指具有定义含义的事物，例如价格，年龄，而非结构化数据是指像素，原始音频，文本等。
如下图：
为什么神经网络会兴起
影响神经网络表现的因素由两方面：一方面是数据量的大小，另一方面是神经网络的规模，如下图:
而神经网络的规模是由计算机的运算能力和算法优劣决定的。
近年来，随着社会发展，人们更有能力去收集更多的数据输送给神经网络以供训练。此外CPU的运行速度不断突破，为扩大神经网络的规模提供了契机。算法的优化减小了计算机的运行量，间接影响到了神经网络的规模，所以深度学习得以兴起。
最后，以上图片均源自于吴恩达老师的课件，感谢吴恩达老师细致的讲解，浅显易懂。