kNN预测不同于距离值预测

Question

我对 sklearn 有疑问，不知道我做错了什么。

我想将网站分为 3 个类别：“金融”、“IT”、“医疗保健”

我对每个网站都有几个指标（基本上是一个关键字列表），我最终使用了一个 knn 分类器：

# fit the classifier
 >>> y = array(['financial_services', 'health_care', 'information_technology'], dtype=object)
 >>> X.shape = (3L, 571L)
neigh = KNeighborsClassifier(n_neighbors=3)
neigh.fit(X, y)

# predict the result for some website (predict is a matrix with my features)
print(neigh.predict(predict))
 >>> ['financial_services'] # predict the first category

print(neigh.kneighbors(predict)) # get the "distances" to each category
 >>> (array([[ 2323819.25162006,  2323841.23289028,  2323852.69883011]]), array([[2, 0, 1]], dtype=int64)) # we can see that this website is closer to the category #2, which is IT 

我尝试预测其他网站的类别，但我总是使用neigh.predict 得到相同的预测，例如“金融服务”，而使用距离得到不同的值（使用neigh.predict）。

我错过了什么？

Answer 1

根据sklearn 文档从kneighbours 返回的索引数组为您提供“总体矩阵中最近点的索引”，而不是类标签。距离从最近到最远排序，索引告诉您哪个距离对应于训练集中的哪个实例。所以[[ 2323819.25162006, 2323841.23289028, 2323852.69883011]], [[2, 0, 1]] 告诉你第三个（索引 2）实例是最近的，距离为2323819.25162006。这可能有点令人困惑，因为您在训练数据和k=3 中正好有 3 个点。这里要记住的是，索引是指原始训练样本数组中的索引，而不是从同一函数返回的距离数组。

我认为您的主要问题是人口矩阵正好包含 3 个类别的 3 个示例（每个类别 1 个）。当您设置kneighbours=3 时，您认为分类器试图做什么？找到一个测试点的 3 个最近邻，但只有 3 个示例，并且它们都有不同的类。

用户指南有这样的说法

分类是根据每个点最近邻居的简单多数票计算得出的

在您的情况下，最接近的 3 个点。同样只有三个点，它们都有不同的类别，所以多数票永远无法正常运作。