K-近邻算法
学习目标
- 掌握K-近邻算法实现过程
- 知道K-近邻算法的距离公式
- 知道K-近邻算法的超参数K值以及取值问题
- 知道kd树实现搜索的过程
- 应用KNeighborsClassifier实现分类
- 知道K-近邻算法的优缺点
- 知道交叉验证实现过程
- 知道超参数搜索过程
- 应用GridSearchCV实现算法参数的调优
1.1 K-近邻算法简介
1 什么是K-近邻算法
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LB42fwYW-1583241510562)(../images/%E5%9C%B0%E5%9B%BEK%E7%B4%A7%E9%82%BB%E7%AE%97%E6%B3%95.png)]](https://img-blog.csdnimg.cn/20200303211840440.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
- 根据你的“邻居”来推断出你的类别
1.1 K-近邻算法(KNN)概念
K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法， 总体来说KNN算法是相对比较容易理解的算法
- 定义
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
来源：KNN算法最早是由Cover和Hart提出的一种分类算法
- 距离公式
两个样本的距离可以通过如下公式计算，又叫欧式距离 ，关于距离公式会在后面进行讨论
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hSheieNU-1583241510563)(../images/1.3%20%E6%AC%A7%E5%BC%8F%E8%B7%9D%E7%A6%BB1.png)]](https://img-blog.csdnimg.cn/20200303211848680.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wgcYSb7C-1583241510563)(../images/1.4%20%E6%AC%A7%E5%BC%8F%E8%B7%9D%E7%A6%BB2.png)]](https://img-blog.csdnimg.cn/20200303211854916.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
1.2 电影类型分析
假设我们现在有几部电影
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t9ItfpiT-1583241510563)(../images/knn%E7%94%B5%E5%BD%B1%E4%B8%BE%E4%BE%8B1.png)]](https://img-blog.csdnimg.cn/20200303211900410.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
其中？ 号电影不知道类别，如何去预测？我们可以利用K近邻算法的思想
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q5BbOSj9-1583241510564)(../images/knn%E7%94%B5%E5%BD%B1%E4%B8%BE%E4%BE%8B2.png)]](https://img-blog.csdnimg.cn/20200303211905542.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
分别计算每个电影和被预测电影的距离，然后求解
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WFbKXfaC-1583241510564)(../images/knn%E7%94%B5%E5%BD%B1%E4%B8%BE%E4%BE%8B3.png)]](https://img-blog.csdnimg.cn/2020030321191286.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
