计算 rpart 包结果的精度、召回率、F1 值

Question

下面的数据框是我的总数据集的一个样本：

A    B   C    D    E    target
0.2 0.5 0.6 -0.5   -0.7   1
0.9 0.7 0.4 -0.3   -0.8   0  
0.1 0.3 0.5 -0.9   -0.2   0
0.2 0.5 0.6 -0.5   -0.6   1

我想在上面应用分类树，所以我使用了以下代码：

data$target<-factor(data$target)

# Create Training Data
train.ind <- sample(nrow(data), 0.7*nrow(data))
trainData<-data[train.ind,]
testData<-data[-train.ind,]    

library("rpart")
tree <- rpart(target ~.,data=trainData)

ypred=predict(tree,testData)

    library(caret)
    #Print a confusion matrix
    result <- confusionMatrix(ypred,testData$target)

错误：data 和 reference 应该是具有相同水平的因子。

   precision <- result$byClass['Pos Pred Value']    
    recall <- result$byClass['Sensitivity']
    f_measure <- 2 * ((precision * recall) / (precision + recall))
    #OR
    f_measure <-result$byClass['F1']

但它没有工作。我需要精度、召回率和 F1 值，但我不知道如何使用“rpart”包结果进行计算。

Answer 1

函数confusionMatrix 接受两个参数（data 和reference），它们必须是具有相同水平的因子。您的代码并非如此，因为predict 函数在给定rpart-object 时，默认情况下会返回一个矩阵，其中包含每个样本的类成员资格概率。你需要向这个函数指定你想要一个预测类的向量，并将这个向量转换为与target（0 和1）具有相同水平的因子。

这应该可以解决问题：

ypred <- factor(predict(tree, testData[, -6], type="vector"),
                levels = levels(testData$target))
library(caret)
confusionMatrix(ypred, testData$target)

使用factor(..., levels = levels(testData$target)) 可确保两个因子的水平顺序相同，以避免出现以下警告：

警告信息：confusionMatrix.default(ypred, testData$target) 中： 对于参考和数据，级别的顺序不同。重构 要匹配的数据。