预测函数用于逻辑回归返回整个数据集的结果，而不仅仅是训练数据集

Question

我可能遇到一个问题，即我的逻辑回归模型的预测函数返回整个数据集的预测，而不仅仅是测试数据。我的测试数据中有 6,931 行。这是我的模型：

test_model <- glm(status2~grade +  verified  + term + income + revolRatio +totalAcc + totalRevLim + accOpen24 ,data=Loan_test,family="binomial")

这是我的预测函数：

probabilities <- predict(test_model,newdata=Loan_test, type="response") 

感谢您对我做错的任何帮助。

好的，这是我将其更改为使用包含约 27000 行的训练数据集：

test_model <- glm(status2~grade +  verified  + term + income + revolRatio +totalAcc + totalRevLim + accOpen24 ,data=Loan_training,family="binomial")

probabilities <- predict(test_model,newdata=Loan_test, type="response")

但概率仍然包含 34000+ 行。

Answer 1

为了针对保留数据集进行预测，应将初始数据拆分为训练和测试数据帧。由于 OP cmets 注意到有单独的训练和测试数据框，我们将简单地使用训练数据框来构建模型，并对测试数据框进行预测。

# use training data for model
test_model <- glm(status2~grade +  verified  + term + income + revolRatio +totalAcc + totalRevLim + accOpen24 ,
                  data=Loan_training,family="binomial")

#make predictions using hold out data (test)
probabilities <- predict(test_model,newdata=Loan_test, type="response")

一个完整的例子：二项式回归预测

这是一个使用来自ElemStatLearnpackage 的南非心脏病数据的完整工作示例，它显示了当我们将数据框拆分为测试和训练时，使用glm() 拟合二项式模型并通过测试和训练数据帧，预测的数量等于predict()中使用的数据帧的大小。

library(ElemStatLearn)
data(SAheart)
set.seed(801248)
train = sample(1:dim(SAheart)[1],size=dim(SAheart)[1]*.6,replace=F)
trainSA = SAheart[train,]
nrow(trainSA)
testSA = SAheart[-train,]
nrow(testSA)

此时我们可以看到trainSA 和testSA 中的行数不同。

> nrow(trainSA)
[1] 277
> testSA = SAheart[-train,]
> nrow(testSA)
[1] 185
> 

接下来，我们用glm() 拟合二项式一般线性模型。

modFit <- glm(chd ~ age + alcohol + obesity + tobacco + typea + ldl,
            data=trainSA,
            family="binomial")

当我们对测试和训练数据帧进行预测时，我们注意到输出向量的长度与原始数据帧中的行数相匹配。

predicted_test <- predict(modFit,testSA)
length(predicted_test)
predicted_train <- predict(modFit,trainSA)
length(predicted_train)

...和输出：

> length(predicted_test)
[1] 185
> predicted_train <- predict(modFit,trainSA)
> length(predicted_train)
[1] 277

最后，我们通过计算每个数据帧的误分类率来证明predict() 的结果差异。

missClass = function(values,prediction){sum(((prediction > 0.5)*1) != values)/length(values)}
# Classification errors on TrainSA
missClass(trainSA$chd,predicted_train)
# Classification Errors on TestSA
missClass(testSA$chd,predicted_test)

...和输出：

> missClass(trainSA$chd,predicted_train)
[1] 0.2924188
> # Classification Errors on TestSA
> missClass(testSA$chd,predicted_test)
[1] 0.2594595
> 

结论：当输入predict()时，原始帖子中的代码不知何故引用了原始数据框，但我们看不到它，因为它不包含minimal reproducible example。