【论文题目】Deep learning ，Yann LeCun, Yoshua Bengio & Geoffrey Hinton，Nature，2015
【论文链接】http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
深度学习发展得益于计算能力提升和数据量的增长，无需人工设计特征，深度学习通过BP（反向传播）来显示机器将会如何根据前一层的表征改变来计算每层表征的内部参数，使用快速GPU预训练，从而可以发现高维大数据集的复杂结构，其特征提取器将原始数据转化成适于内部描述或表征的变量，在提取器中的子系统（通常是一个分类器）可以对输入模式检测和分类。表征学习（representation learning）是指在输入原始数据之后，机器能自动发现检测和分类所需要的表征信息。
随机梯度下降SGD是神经网络的常见训练算法，其名称中的stochastic是因为，每个样本组都会对整个训练集的平均梯度给出一个带噪声的估计。简单的线性分类器只能将输入空间划分为很简单的区域（即被超平面划分的半空间）。
上图中的b为链式求导法则。
图c计算了包含两个隐层和一个输出层的神经网络中的前向传输(forward pass)过程，为了简化计算而忽略了偏置项bias.常用的激活函数有ReLU(rectified linear unit,整流线性单元)，双曲正切函数和逻辑回归函数。
图d中计算了反向传输(backward pass)过程。对隐层中每个输出单元的误差求导，即上一层中所有输入单元的误差导数的加权和，将关于输出的导数误差乘以激活函数f(z)的梯度得到关于输入的导数误差。
图2中将经典的卷积神经网络CNN运用于一张萨摩耶狗图，每个长方形图对应于学习到的输出特征的特征映射。信息流从下往上，低级的特征作为导向性的边缘监测因子，在输出/relu/线性单元中为每个图像类别计算一个分数。
CNN处理自然信号的关键思想在于局部连接，权重共享，池化和多个网络层的使用。
一张彩色图像由三个二维数组组成，包含三个颜色通道的像素强度值。例如在深度学习应用与图像分类中，原始图片以3通道RGB像素值表示（three-channel，red-Green-Blue）； 在第一个特征层中，主要学习的特征是特定方位或位置上有无边沿edge；第二层学习的表征是不考虑边沿位置的微小变化，发现边沿的特定排列来检测图案；第三层将局部图像与物体相应的部分匹配；后续的层级将会通过把这些局部信息组合起来从而识别整个物体。
深度学习的另一个热门应用是自然语言处理，包括话题分类，情感分析，问答系统和语言翻译等不同的任务。