首先，机器学习是人工智能的一个分支，是人工智能发展到一定阶段的必然产物。
人工智能简史
推理期：二十世纪五十年代到七十年代；认为只要赋予机器逻辑推理能力，机器就具有了智能。
- 代表人物：A. Newell and H. Simon. 面临的问题：具有推理能力远远不够实现智能。
知识期：盛行于二十世纪七十年代中期；认为使机器具有智能，必须具备知识。
- 代表人物：E. A. Feigenbaum. 面临的问题：很难把人总结出来的知识再教给计算机。
机器学习期：当今时代；让机器自己学习知识，以获得智能。
机器学习简史
E.A.Feigenbaum对机器学习的划分：机械学习，示教学习，类比学习和归纳学习。其中归纳学习，即是从样例中学习，被研究最多应用最广，发展包括：
符号主义学习：盛行于二十世纪八十年代；代表包括决策树（Decision Tree）和基于逻辑的学习。
- 决策树学习：以信息论为基础，以信息熵的最小化为目标，直接模拟了人类对概念进行判定的树形流程。
- 基于逻辑的学习：代表为逻辑程序设计（Inductive Logic Programming，ILP）。
连接主义学习：二十世纪九十年代中期之前的另一大主流；基于神经网络，D.E.Rumelhart 的BP算法对连接主义学习的推广与应用，起到深远。
- 特点：连接主义学习产生的是“黑箱”模型，从知识获取的角度有明显弱点（不像符号主义）；但是BP算法，使得它在很多问题上发挥作用。
- 最大局限：试错性，其学习过程涉及大量参数，而参数的设置缺乏理论指导，主要靠手工调参；夸张一点说，参数调节上失之毫厘，学习结果可能差之千里。因此，在二十世纪九十年代中期，研究热度冷却了下来。
- 二十一世纪初，又卷土从来，原因：深度学习的发展。深度学习，狭义地说即是有很多层的神经网络，在语音，图像等复杂对象的应用中性能很好。两个促成深度神经网络优越性能的因素：大量数据和高性能计算。
统计学习：二十世纪九十年代中期开始成为主流；代表技术为支持向量机（SVM）和更一般的核方法（Kernel Methods）。
- 事实上，统计学习与连接主义学习有密切的联系。在SVM被普遍接受之后，核技术被应用到了机器学习的几乎每一个角落。
参考：西瓜书