k-最近邻算法基本原理

 

原理：

1、将未知数据与所有已知数据计算距离

2、取前k个距离最短的数据

3、统计前k个数据的类别个数

4、类别个数最多的为当前未知数据的分类。

 

举例说明：

1、如图所示，若k=3

2、分别计算到每个点的距离，取最近的3个点

3、分别统计3个点类别的个数，可以看到三角形2个，方形1个

4、取3个中，数量最多的三角形类别，为需要判断数据的类别（即三角形）

  

优点：

精度高、对异常值不敏感

 

缺点：

1、时间复杂度、空间复杂度都很高

2、虽然能很好完成分类任务，但是无法给出数据内在的含义