一、本篇介绍
篇名：深度学习研究进展
作者：郭丽丽，丁世飞
作者单位：中国矿业大学 计算机科学与技术学院
发表在：计算机科学，2015年5日
二、本文主要内容（知识点）
1、历史与发展
机器学习的发展经历了浅层学习和深度学习两次浪潮。
深度学习可以理解为神经网络的发展。
神经网络是对人脑或生物神经网络基本特征进行抽象和建模，可以从外界环境中学习，并以与生物类似的交互方式适应环境。
人的视觉系统的信息处理是分级的，从低级的V1区提取边缘特征，到V2区的形状，再到更高层。
人类大脑在接收到外部信号时，不是直接对数据进行处理，而是通过一个多层的网络模型来获取数据的规律。这种层次结构的感知系统使视觉系统需要处理的数据量大大减少，并保留了物体有用的结构信息。
2、经典算法
1. 监督学习
多层感知机（Multilayer Perceptron）
卷积神经网络（Convolutional Neural Networks，CNNs）：CNNs是第一个真正成功地采用多层层次结构网络的具有鲁棒性的深度学习方法，通过研究数据在空间上的关联性，来减少训练参数的数量。
2.无监督学习
深度置信网（Deep Belief Nets，DBNs）：分为可视层即输入数据层（v）和隐藏层（h），每一层的节点之间没有连接，但层和层之间彼此互连。相比传统的sigmoid信念网络，RBM易于连接权值的学习。
自动编码器（Auto Encoders）
去噪自动编码器（Denoising Autoencoders）
稀疏编码（Sparse Coding）
3、BP算法的缺点
第一，BP算法是监督学习，训练需要有标签的样本集，但实际能得到的数据都是无标签的。
第二，BP算法在多隐层的学习结构中，学习过程较慢；第三，不适当的参数选择会导致局部最优解。
4、研究近况
2010年提出的一种新颖的半监督学习算法即判别深度置信网（Discriminative Deep Belief Networks，DDBNs），被成功地应用到可视化数据分类。
2013年国内学者又开发了一种半监督学习算法，称为卷积深度网络（Convolutional Deep Networks，CDN），用来解决深度学习中图像的分类问题。
孙志军等在预训练阶段采用非监督正则化，并利用边际Fisher准则进一步约束提取的特征，提出了基于深度学习的边际Fisher分析特征提取算法DMFA（Deep Marginal Fisher Analysis），其提升了识别率。
活跃深度网络（Active Deep Network，ADN）的半监督学习算法，用来解决在标记数据不足的基础上进行情感分类的问题。
斯担福大学的研究生Richard Socher和Andrew Ng（Google深度学习项目工程师之一）等人共同研究开发了一个深度学习的新算法，即Neural Analysis of Sentiment（NaSent）
5、应用
语音是神经网络最早的应用之一，2010年前后，微软和Google的语音组都招聘了Hinton教授的学生去实习，他们用深度学习去学习语音信号里的特征并进行声学模型建模，最后在标准数据集TIMIT上取得了很好的效果。
2006年深度学习被提出开始，其在目标识别领域的应用主要集中在MNIST手写图像问题上，并打破了SVM在这个数据集的霸权地位
2010年，微软雷德蒙研究院的DengLi博士与Hinton发现深层网络可显著提高语音识别的精度。微软亚洲研究院进一步深化这项成果，建立了一些巨大的深度神经网络（deep neural networks，DNN），这是语音识别研究史上最大的同类模型。
2012年11月，微软在中国天津演示了一个全自动同声传译系统，其后面支撑的关键技术是DNN。
2012年6月《纽约时报》报道了谷歌的Google Brain项目。指导思想是将计算机科学与神经科学相结合，这是在人工智能领域从来没有实现过的。
2013年1月，在百度的年会上，创始人兼CEO李彦宏宣布要成立百度研究院，其中第一个重点方向就是深度学习，并为此而成立Institue of Deep Learning（IDL），这是百度成立10多年以来第一次成立研究院。
2013年4月，MIT Technology Review杂志将深度学习列为2013十大突破性技术之首。
2013年10月据国外媒体报道，Facebook正在试图通过启用称作Deep Learning的新的人工智能技术来帮助理解它的用户和相关数据。
三、具体创新
本文属于综述，没有具体创新点。
四、心得感想
前面已经看过3篇关于CNN的综述，这是第四篇，目前准备把之前没有看多少的人工智能的视频课看了，一边实操学技术，一遍看论文了解领域。
五、专业词汇的学习：
shallow learning 浅层学习
Back Propagation算法 反向传播算法（BP算法）
Multilayer Perceptron 多层感知机
Deep Belief Nets 去噪自动编码器(DBNs)
Sparse Coding 稀疏编码
Deep Convex Network 深凸网络(DCN)
Deep Marginal Fisher Analysis 边际Fisher分析特征提取算法(DMFA)
Active Deep Network 活跃深度网络(AND)
另：一些说明
1、本博客仅用于学习交流，欢迎大家瞧瞧看看，为了方便大家学习，相关论文请去知网等地方自行下载。
2、如果原作者认为侵权，请及时联系我，我的qq是244509154，邮箱是[email protected]，我会及时删除侵权文章。
3、我的文章大家如果觉得对您有帮助或者您喜欢，请您在转载的时候请注明来源，不管是我的还是其他原作者，我希望这些有用的文章的作者能被大家记住。
4、最后希望大家多多的交流，提高自己，从而对社会和自己创造更大的价值。