1.1 什么是模式识别
什么是模式识别呢，认识这个问题首先要理解什么是模式。
从认知科学的角度来看，认知过程中的一切行为都归结为识别；从哲学的角度来看是寻求物质的本质属性；回到工程的角度，针对给定的任务和应用研究如何使计算机具有识别能力。
说到底就是对某个事物或者概念的理解，从而形成一种认知。比如什么样的物体是桌子，什么样的是凳子。模式识别发现规律，应用规律的过程。
模式是待识别对象的一组属性集合，例如苹果：{颜色、形状、糖度、酸度、重量…}
而识别或者说分类则是根据模式的描述判断不同的识别对象是否属于相同的类别
而现在的人工智能，某种意义上也只是高维空间的模式识别
1.2 模式识别系统
一般的模式识别就是预处理，然后进行特征计算，最后再进行分类
举个例子，苹果与橘子的分类，比如通过rgb三个通道值、x和h形成一个五维特征。其中蓝色分量作用比较低可以去掉，为了进行无量纲化最后形成(R / G, x / h)
提取特征后根据这个特征进行分类，最终得到模式识别的结果
模式识别的分类面要尽可能有泛化能力
1.3 模式识别的几个关键概念
具体问题、具体分析
丑小鸭定理：根据问题确定特征计算方法
“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。
世界上不存在相似性的客观标准，必须根据问题需求，确定“相似性”标准
没有免费的午餐：根据问题确定分类方法
如果一个算法对某些问题有效，那么他一定在另一些问题上比纯随机搜索算法更差。不能脱离具体问题来讨论算法的优劣，任何算法都有优劣性，必须根据问题特点，选择“合适”算法。
归纳偏置（inductive biases）：模型会对学习的问题做一些假设，即所谓的认知偏好。
最近邻分类器：近朱者赤
朴素贝叶斯分类器：每个特征相互独立
距离分类器：…,各类别先验概率相等
卷积神经网络? 根据问题特点，做出“合适”假设，选择合适模型
泛化（Generalization）：可“推广”的才是知识！
VC维：模型复杂度（拟合能力）
奥卡姆剃刀——如无必要勿增实体
1.4 模式识别方法简介
1、分类与聚类
有监督学习
无监督学习
半监督学习：只有一部分样本有标签
标签不可靠：弱监督学习
2、统计模式识别与结构模式识别
统计方法：将模式看作为空间中的一个点，采用解析几何和概率论、数理统计的方法判别输入模式的类别数学
结构方法：将模式看成是由一些基本元素有组织的构成，利用形式语言和自动机理论对模式的结构进行分析和判别；
3、鉴别模型与产生式模型
鉴别模型主要学习一个分类面，然后判断点所在的区域进行分类
而产生式模型则是根据模式在某点的出现的概率来判断该点所属类别
4、支持向量机与神经网络
5、从浅层到深层
浅层学习，使用特征工程，特征选择与提取严重依赖专家经验进行
深度学习：表示学习模型的结构依赖专家经验而自动学习自动学习调整模型结构
随着网络的加深，逐步提取到信号的高级特征，实现理解
1.5 模式识别应用举例
自动驾驶、强化学习
