运行 caret::train() 以开发 kknn 模型时的性能预期

Question

我正在使用 caret::train() 函数开发具有 10 倍交叉验证的加权 knn 分类模型 (kknn) 和一个 tuneGrid 包含kmax 有 15 个值，distance 有 1 个值，kernel 有 3 个值。

如果我正确理解了这个过程，那么总共有 450 次迭代（迭代是计算给定结果的概率对于 kmax、distance 和内核）。 x 有大约 480,000 个数据点（6 个预测变量，每个有大约 80,000 个观察值），y 有大约 80,000 个数据点。

了解影响性能的变量数不胜数，如果在配备 8 核 3GHz Intel 处理器和 32GB RAM 的电脑上运行 train 函数，我可以合理地预期需要多长时间？ p>

目前每次折叠大约需要 70 分钟，即每次迭代大约需要 1.5 分钟。这是合理的，还是过度的？

这是一个 kknn 学习练习。我意识到还有其他类型的算法可以更有效地产生更好的结果。

这里是基本代码：

x <- as.matrix(train_set2[, c("n_launch_angle", "n_launch_speed", "n_spray_angle_Kolp", "n_spray_angle_adj", "n_hp_to_1b", "n_if_alignment")])
y <- train_set2$events
set.seed(1)
fitControl <- trainControl(method = "cv", number = 10, p = 0.8, returnData = TRUE,
                           returnResamp = "all", savePredictions = "all",
                           summaryFunction = twoClassSummary, classProbs = TRUE, 
                           verboseIter = TRUE)
tuneGrid <- expand.grid(kmax = seq(11, 39, 2), 
                        distance = 2, 
                        kernel = c("triangular", "gaussian", "optimal"))
kknn_train <- train(x, y, method = "kknn", 
                    tuneGrid = tuneGrid, trControl = fitControl)

Answer 1

正如我们在 cmets 中建立的那样，期望这种类型的运行时是合理的。有几个步骤可以减少这种情况；

1. 在parallel 中运行您的代码
2. 使用更高效的操作系统；喜欢Linux
3. 你的trainControl()更高效，真的有必要returnResamps=TRUE吗？控制这些有小收获。

显然，第一个是显而易见的。对于第二个，我可以找到发誓linux 的计算机工程师与发誓windows 的计算机工程师一样多。说服我切换到Linux 的是这个特殊的测试，我希望它能给你带来什么。

# Calculate distance matrix
test_data <- function(dim, num, seed = 1903) {
    
    set.seed(seed)
    
    dist(
        matrix(
            rnorm(dim * num), nrow = num
        )
    )
    
    
    
}


# Benchmarking
microbenchmark::microbenchmark(test_data(120,4500))

这段代码只是在运行Linux 的同一台机器上运行得更快。至少这是我的经验。