概率如何在 kNN 算法中发挥作用？

Question

kNN 似乎比较容易理解：您有数据点，然后在特征空间中绘制它们（在维度 2 的特征空间中，与在 xy 平面图上绘制点相同）。当你想对一个新数据进行分类时，你把新数据放到同一个特征空间，找到最近的 k 个邻居，看看他们的标签是什么，最终选择得票最高的标签。

那么概率在哪里发挥作用呢？我所做的一切都是为了计算两点之间的距离并获取最近邻居的标签。

Answer 1

对于一个新的测试样本，您可以查看 K 个最近邻并查看它们的标签。 您计算每个类中有多少 K 个样本，然后将计数除以类数。

例如 - 假设您的分类器中有 2 个类，并且您使用 K=3 个最近邻，这 3 个最近样本的标签是 (0,1,1) - 0 类的概率是 1/ 3，第 1 类的概率是 2/3。