K近邻算法。
KNN算法非常简单，非常有效。
KNN的模型表示是整个训练数据集。
对一个新的数据点进行了预测，通过对K个最类似的实例(邻居)的整个训练集进行搜索，并对这些K实例的输出变量进行汇总。对于回归问题，这可能是平均输出变量，用于分类问题，这可能是模式(或最常见的)类值。
诀窍在于如何确定数据实例之间的相似性。如果你的属性都是相同的比例(例如英寸)，最简单的方法就是使用Euclidean距离，你可以根据每个输入变量之间的差异直接计算一个数字。
KNN可能需要大量的内存或空间来存储所有数据，但只在需要时执行计算(或学习)，及时进行预测。你也可以更新和管理你的训练实例，以保持预测的准确性。
距离或接近的概念可以在非常高的维度(大量的输入变量)中分解，这会对算法在你的问题上的性能产生负面影响。这被称为维度的诅咒。它建议您只使用与预测输出变量最相关的输入变量。