两次工业革命后，机器在诸多领域取代了人力，社会生产力大幅上升。但机器超越了人类四肢的力量，却仍难以企及人类大脑的智慧。但在二战中，对密码破译、导弹弹道计算和原子弹研发的需求促使了电子计算机的诞生。1946年，第一台电子计算机在宾夕法尼亚大学问世。在此之后，1948年诺伯特·维纳提出了控制论，克劳德·香农提出了信息论。它们为接下来人工智能的研究奠定了基础。1952年，手冢治虫开始连载《铁臂阿童木》漫画，人们已经开始畅想一个充满着人造智能机器人的未来世界。
1956年，在达斯茅斯会议上，约翰·麦卡锡正式提出了“人工智能（Artificial Intelligence）”的概念：让机器的行为看起来像是人所表现出的智能行为一样（这里的“行为”应理解为决策行为而非肢体动作）。后来一般教材将人工智能的领域定义为：智能主体（intelligent agent）的研究与设计。人工智能涉及范围极广，目前没有统一的原理或范式指导其研究，而实现“强人工智能”是它的长远目标。强人工智能，被认为是具备或超越人类同等智慧，能表现正常人类所具有的所有智能行为；相对的，弱人工智能，只能解决特定领域的问题。目前的研究仍停留在弱人工智能级别。
“机器学习（Machine Learning）”是实现人工智能的重要途径，一种定义是：对通过经验自动改进的计算机算法的研究。可见，机器学习就是将控制论的思想（信息反馈）应用于计算机算法上来研究人工智能。1952年，阿瑟·萨缪尔开发了一个具有自学习能力的西洋跳棋程序[1]，并在1962年战胜了美国著名选手尼雷，在当时引起了轰动。这个程序使用的是强化学习算法，除此之外，机器学习的主要算法还包括：神经网络、最近邻、决策树、集成学习、支持向量机、贝叶斯方法等。按基本思想划分，各算法可分为符号主义（数学）、连接主义（网络）和行为主义（控制）；按输入数据划分，可分为有监督学习、无监督学习等。
连接主义来源于仿生学，认为智能是由大量神经元所组成的网络产生的。1943年，沃伦·麦卡洛克和沃尔特·皮茨提出了MP神经元模型[2]。40年代后期，唐纳德·赫布根据神经可塑性的机制提出了赫布型学习[3]，这被认为是一种典型的非监督式学习。1956年，弗兰克·罗森布拉特创造了感知机[4]，这是一种多层的神经网络。1969年，马文·明斯基和西摩·帕尔特提出基本感知机无法处理异或回路[5]，使神经网络的研究陷入低潮。1974年，保罗·韦伯斯创造了反向传播算法[6]，解决了异或问题。1985-86年，几位研究人员先后提出了感知机与反向传播相结合的理念[7]，为多层神经网络的训练奠定了基础。
1989年，杨·勒丘恩将反向传播算法用于识别手写数字[8]，提出了“卷积神经网络”的概念。1998年，勒丘恩提出了LeNet-5模型[9]，这是第一个正式的卷积神经网络模型。但由于当时的硬件性能限制，相关研究随后趋于停滞。2006年，杰弗里·辛顿提出了深度信念网络[10]，以解决深层网络训练中的梯度消失问题，开启了“深度学习”的研究。但深度学习需要海量的数据，而李飞飞2009年建立的ImageNet数据集解决了这个问题。从2007年开始，ImageNet下载了近10亿张图片，以众包模式雇佣167个国家的近5万人进行图像标注。从2009年到2017年，基于ImageNet数据集共举办了8届图像识别大赛。2012年，辛顿课程组的AlexNet在ImageNet图像分类项目中以巨大优势夺得冠军[11]，引发了深度学习和卷积神经网络的研究热潮。
在随后几年的ImageNet比赛里，又出现了VGG、Inception和Resnet等更优秀的卷积神经网络。它们的层数越来越深，结构也越来越复杂。Resnet由微软研究院的4名华人提出，深度可达200层，且第一次在图像识别的精度上超越了人类。此后，图像识别技术开始大范围商业化，加速了人脸识别和无人车等技术的落地。2016年，DeepMind团队(google旗下)的Alpha Go以3:1击败了世界围棋冠军李世石，17年又诞生了更强的AlphaGo Zero，其使用的网络就是ResNet。除了在图像识别领域使用的卷积神经网络外，深度学习也有着广泛的应用。比如语言识别领域的循环神经网络、长短期记忆神经网络，自然语言理解领域的Word2vec词向量模型，机器创作领域的生成式对抗网络等。
如今，深度学习面临的主要问题是可解释性、通用性和轻量化。可解释性是指人类能理解神经网络在训练中学会了什么，由于深度神经网络非常复杂且存在冗余，研究者难以获知每一层的具体作用；通用性是指一个训练好的神经网络能用于多个领域，如今的网络仍只能输入特定类别的数据，得到特定类别的结果；轻量化是指网络需要的数据规模和计算能力能够大幅下降，这有助于深度学习的进一步推广，并很好的应用于移动设备上。随着这些问题的不断解决，以深度学习为代表的人工智能技术将继续改变人们日常生活的方方面面，《铁壁阿童木》中那个充满着智能机器人的世界也将越来越近，让我们拭目以待。
（本文由我在Udacity机器学习课程毕业论文中的综述部分整理而成，论文名为《基于Android和微信小程序端的猫狗图像分类》，剩余部分也将陆续整理出来，尽情期待...）
参考文献
(1) Samuel AL. Some studies in machine learning using the game of checkers. IBM Journal of research and development. 1959 Jul;3(3):210-29.
(2) McCulloch WS, Pitts W. A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics. 1943 Dec 1;5 (4):115-33.
(3) Hebb DO. The organization of behavior; a neuropsycholocigal theory. A Wiley Book in Clinical Psychology.. 1949:62-78.
(4) Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review. 1958 Nov;65(6):386.
(5) Minski ML, Papert SA. Perceptrons: an introduction to computational geometry. MA: MIT Press, Cambridge. 1969.
(6) Werbos P. Beyond regression: new fools for prediction and analysis in the behavioral sciences. PhD thesis, Harvard University. 1974.
(7) Rumelhart DE, Hinton GE, Williams RJ. Learning representations by back-propagating errors. nature. 1986 Oct;323(6088):533.
(8) LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, Jackel LD. Backpropagation applied to handwritten zip code recognition. Neural computation. 1989 Dec;1(4):541-51.
(9) LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE. 1998 Nov;86(11):2278-324.
(10) Hinton GE, Osindero S, Teh YW. A fast learning algorithm for deep belief nets. Neural computation. 2006 Jul;18(7):1527-54.
(11) Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks. InAdvances in neural information processing systems 2012 (pp. 1097-1105).