在前文中，我们已经介绍过了KNN算法的原理以及其python实现，具体请见KNN算法及其python实现。
本文将主要介绍KNN算法的R语言实现，使用的R包是kknn。
数据简介
本文数据选择了红酒质量分类数据集，这是一个很经典的数据集，原数据集中“质量”这一变量取值有{3，4，5，6，7，8}。为了实现二分类问题，我们添加一个变量“等级”，并将“质量”为{3，4，5}的观测划分在等级0中，“质量”为{6，7，8}的观测划分在等级1中。
因变量：等级
自变量：非挥发性酸性、挥发性酸性、柠檬酸、剩余糖分、氯化物、游离二氧化硫、二氧化硫总量、浓度、pH、硫酸盐、酒精
library(openxlsx)
wine = read.xlsx("C:/Users/Mr.Reliable/Desktop/classification/winequality-red.xlsx")
#将数据集分为训练集和测试集,比例为7:3
train_sub = sample(nrow(wine),7/10*nrow(wine))
train_data = wine[train_sub,]
test_data = wine[-train_sub,]
KNN的实现
R包下载
install.packages('kknn')
实现KNN
kknn函数的重要参数：
| 参数 | 意义 |
|---|---|
| formula | ~，确定自变量和因变量 |
| train | 训练集 |
| test | 测试集 |
| k | 默认为7，表示选择7个最近的样本为代表 |
| distance | 默认为2，表示使用的是哪个明可夫斯基距离 |
| kernel | 可以选择的选项：rectangular（无权重），triangular，epanechnikov，biweight，triweight，cos，inv，gaussian，rank，optimal（默认） |
kknn还有一些其他的参数，具体可以参考kknn参数选择
library(pROC) #绘制ROC曲线
library(kknn)
#数据预处理
train_data$等级 = factor(train_data$等级)
test_data$等级 = factor(test_data$等级)
wine_knn <- kknn(等级 ~ 非挥发性酸性+挥发性酸性+柠檬酸+剩余糖分
+氯化物+游离二氧化硫+二氧化硫总量+浓度+pH+硫酸盐+酒精,
train_data,test_data,k=7,distance = 2)
这样我们就实现了KNN算法
ROC曲线和AUC值
#在测试集上预测
pre_knn <- fitted(wine_knn)
#输出混淆矩阵
table(test_data$等级, pre_knn,dnn=c("真实值","预测值"))
#绘制ROC曲线并计算AUC值
knn_roc <- roc(test_data$等级,as.numeric(pre_knn))
plot(knn_roc, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),grid.col=c("green", "red"), max.auc.polygon=TRUE,auc.polygon.col="skyblue", print.thres=TRUE,main='knn算法ROC曲线')
选择不同的kernel和k值将对模型的结果产生影响。一般来讲，使用默认值的效果比较好。