第3章 k近邻法
基本分类与回归法;
三个基本要素:k值的选择、距离度量、分类决策规则
- k近邻算法:没有显式地学习过程;
- k近邻模型:
- 距离度量:
- k值的选择:
一般取个比较小的数值,通常采用交叉验证法来选取最优的k值;
- 分类决策规则:
等价于经验风险最小化;
3.3 k近邻法的实现:kd树
考虑问题:如何对training data进行快速k近邻搜索;
实现方法:最简单的是线性扫描(当trainging dataset很大时,计算非常耗时);使用特殊的结构存储训练数据,减少计算距离的次数,如kd树方法(详情见PDF57);