插入符号交叉验证中的预处理

Question

我有一个关于数据预处理的问题需要澄清。据我了解，当我们通过交叉验证调整超参数并估计模型性能时，而不是预处理整个数据集，我们需要在交叉验证中进行。换句话说，在交叉验证中，我们对训练折叠进行预处理，然后使用相同的预处理参数来处理测试折叠并进行预测。

在下面的示例代码中，当我在 caret::train 中指定 preProcess 时，它会自动执行此操作吗？如果有人能澄清我的话，真的很感激。

从一些在线资源中，有些人对整个数据集（训练集）进行预处理，然后使用预处理数据通过交叉验证来调整超参数，这似乎不对....

library(caret)
library(mlbench)
data(PimaIndiansDiabetes)

control <- trainControl(method="cv", 
                        number=5,
                        preProcOptions = list(pcaComp=4))
grid=expand.grid(mtry=c(1,2,3))

model <- train(diabetes~., data=PimaIndiansDiabetes, method="rf", 
               preProcess=c("scale", "center", "pca"), 
               trControl=control,
               tuneGrid=grid)

Answer 1

您的担心是对的。引入积极偏见的方法有很多。

根据插入符号的创建者 Max Kuhn 的说法，当在 train 中指定 preProcess 时，没有数据泄漏：

所有预处理都应用于数据的重新采样版本 （例如 10 倍 CV 中的 90%），然后将这些计算应用于 没有重新计算的保留（剩余的 10%）。

来源：https://github.com/topepo/caret/issues/335