在大型数据帧上优化 ifelse

Question

我有一个如下所示的数据框 df：

A B C 
1 2 3
2 5 6
3 8 9

下面的代码行添加一个新列并相应地填充数据。

df$Mean.Result1 <- ifelse(df[, "A"] > 0.05 & df[, "B"] > 0.05, "Equal", "")

我正在使用 R 和 Splunk，而 Splunk 中的 R 无法识别上述格式.

这样做对吗：

df.$Mean.Result1 <- ifelse(df.$A > 0.05 & df$B > 0.05, "Equal", "")

这两段代码有何不同？会影响计算速度吗？我的实际数据集大约有 5 亿行和 400 列。

Answer 1

has been some discussion 关于ifelse 对于速度是一个重要因素的代码来说，这不是最佳选择。您可以尝试：

df$Mean.Result1 <- c("", "Equal")[(df$A > 0.05 & df$B > 0.05)+1]

要查看这里发生了什么，让我们分解命令。如果A 和B 都超过0.05，df$A > 0.05 & df$B > 0.05 返回TRUE，否则返回FALSE。因此，如果 A 和 B 都超过 0.05，(df$A > 0.05 & df$B > 0.05)+1 返回 2，否则返回 1。这些被用作向量c("", "Equal")的指示，所以当两者都超过0.05时我们得到"Equal"，否则我们得到""。

这是一个有 100 万行的数据框的比较：

# Build dataset and functions
set.seed(144)
big.df <- data.frame(A = runif(1000000), B = runif(1000000))
OP <- function(df) {
  df$Mean.Result1 <- ifelse(df$A > 0.05 & df$B > 0.05, "Equal", "")
  df
}
josilber <- function(df) {
  df$Mean.Result1 <- c("", "Equal")[(df$A > 0.05 & df$B > 0.05)+1]
  df
}
all.equal(OP(big.df), josilber(big.df))
# [1] TRUE

# Benchmark
library(microbenchmark)
microbenchmark(OP(big.df), josilber(big.df))
# Unit: milliseconds
#              expr      min        lq      mean    median        uq      max neval
#        OP(big.df) 299.6265 311.56167 352.26841 318.51825 348.09461 540.0971   100
#  josilber(big.df)  40.4256  48.66967  60.72864  53.18471  59.72079 267.3886   100

矢量索引的方法在中位运行时间中大约快 6 倍。