第3章 k近邻法
基本分类与回归法；
三个基本要素：k值的选择、距离度量、分类决策规则
- k近邻算法：没有显式地学习过程；
- k近邻模型：
- 距离度量：
- k值的选择：
一般取个比较小的数值，通常采用交叉验证法来选取最优的k值；
- 分类决策规则：
等价于经验风险最小化；
3.3 k近邻法的实现：kd树
考虑问题：如何对training data进行快速k近邻搜索；
实现方法：最简单的是线性扫描（当trainging dataset很大时，计算非常耗时）；使用特殊的结构存储训练数据，减少计算距离的次数，如kd树方法（详情见PDF57）；