将列表列表分成两个列表的快速方法

Question

我在 C 编程方面有很好的经验，而且我习惯于用指针来思考，所以在处理大量数据时我可以得到很好的性能。 R 就不一样了，我还在学习。

我有一个包含大约 100 万行的文件，用“\n”分隔，每行里面有 1、2 个或更多整数，用“”分隔。 我已经能够编写一个读取文件并将所有内容放入列表列表的代码。 有些行可以是空的。 然后，我想将每行的第一个数字（如果存在）放入一个单独的列表中，如果一行为空，则将其传递，其余数字放入第二个列表中。

我在这里发布的代码非常慢（自从我开始写这个问题以来它一直在运行，所以现在我杀了 R），我怎样才能获得不错的速度？在 C 中，这将立即完成。

graph <- function() {
    x <- scan("result", what="", sep="\n")
    y <- strsplit(x, "[[:space:]]+") #use spaces for split number in each line
    y <- lapply(y, FUN = as.integer) #convert from a list of lists of characters to a list of lists of integers
    print("here we go")
    first <- c()
    others <- c()
    for(i in 1:length(y)) {
        if(length(y[i]) >= 1) { 
            first[i] <- y[i][1]
        }
        k <- 2;
        for(j in 2:length(y[i])) {
            others[k] <- y[i][k]
            k <- k + 1
        }
    }

在以前版本的代码中，每行至少有一个数字，并且我只对每行的第一个数字感兴趣，我使用了这段代码（我到处阅读，我应该避免使用 for 循环在 R 等语言中）

yy <- rapply(y, function(x) head(x,1))

这大约需要 5 秒，比上面的要好得多，但与 C 相比仍然烦人。

编辑 这是我文件前 10 行的示例：

42 7 31 3 
23 1 34 5 


1 
-23 -34 2 2 

42 7 31 3 31 4 

1

Answer 1

Base R 与 purrr

your_list <- rep(list(list(1,2,3,4), list(5,6,7), list(8,9)), 100)

microbenchmark::microbenchmark(
  your_list %>% map(1),
  lapply(your_list, function(x) x[[1]])
)
Unit: microseconds
                                  expr       min        lq       mean    median         uq       max neval
                  your_list %>% map(1) 22671.198 23971.213 24801.5961 24775.258 25460.4430 28622.492   100
 lapply(your_list, function(x) x[[1]])   143.692   156.273   178.4826   162.233   172.1655  1089.939   100

---

microbenchmark::microbenchmark(
  your_list %>% map(. %>% .[-1]),
  lapply(your_list, function(x) x[-1])
)
Unit: microseconds
                                 expr     min       lq      mean   median       uq      max neval
       your_list %>% map(. %>% .[-1]) 916.118 942.4405 1019.0138 967.4370 997.2350 2840.066   100
 lapply(your_list, function(x) x[-1]) 202.956 219.3455  264.3368 227.9535 243.8455 1831.244   100

purrr 不是性能包，只是方便，这很好，但当您非常关心性能时就不是了。已经讨论过elsewhere。

---

顺便说一句，如果你精通 C，你应该看看包 Rcpp。

Answer 2

试试这个：

your_list <- list(list(1,2,3,4),
     list(5,6,7),
     list(8,9))

library(purrr)

first <- your_list %>% map(1)
# [[1]]
# [1] 1
# 
# [[2]]
# [1] 5
# 
# [[3]]
# [1] 8

other <- your_list %>% map(. %>% .[-1])    
# [[1]]
# [[1]][[1]]
# [1] 2
# 
# [[1]][[2]]
# [1] 3
# 
# [[1]][[3]]
# [1] 4
# 
# 
# [[2]]
# [[2]][[1]]
# [1] 6
# 
# [[2]][[2]]
# [1] 7
# 
# 
# [[3]]
# [[3]][[1]]
# [1] 9

虽然您可能想要以下内容，但在我看来，这些数字最好存储在向量中而不是列表中：

your_list %>% map(1) %>% unlist # as it seems map_dbl was slow
# [1] 1 5 8
your_list %>% map(~unlist(.x[-1]))
# [[1]]
# [1] 2 3 4
# 
# [[2]]
# [1] 6 7
# 
# [[3]]
# [1] 9

Answer 3

确实，从 C 到 R 会令人困惑（对我来说）。有助于提高性能的是理解 R 中的原始类型都是向量，在高度优化、本机编译的 C 和 Fortran 中实现，当有可用的向量化解决方案时，您应该努力避免循环。

也就是说，我认为您应该通过 read.csv() 将其加载为 csv。这将为您提供一个数据框，您可以使用该数据框执行基于矢量的操作。

为了更好地理解，简明（和幽默）的阅读是http://www.burns-stat.com/pages/Tutor/R_inferno.pdf。

Answer 4

我会尝试使用stringr 包。像这样的：

set.seed(3)
d <- replicate(3, sample(1:1000, 3))
d <- apply(d, 2, function(x) paste(c(x, "\n"), collapse = " "))
d
# [1] "169 807 385 \n" "328 602 604 \n" "125 295 577 \n"


require(stringr)
str_split(d, " ", simplify = T)
# [,1]  [,2]  [,3]  [,4]
# [1,] "169" "807" "385" "\n"
# [2,] "328" "602" "604" "\n"
# [3,] "125" "295" "577" "\n"

即使是大数据也很快：

d <- replicate(1e6, sample(1:1000, 3))
d <- apply(d, 2, function(x) paste(c(x, "\n"), collapse = " "))
d
system.time(s <- str_split(d, " ", simplify = T)) #0.77 sek

Answer 5

假设文件是​​ CSV 文件，并且所有“数字”都严格采用 1 2 或 -1 2 形式（即、1 2 3 或 1 23 不是文件中允许），那么可以从编码开始：

# Install package `data.table` if needed
# install.packages('data.table')

# Load `data.table` package
library(data.table)

# Load the CSV, which has just one column named `my_number`.
# Then, coerce `my_number` into character format and remove negative signs.
DT <- fread('file.csv')[, my_number := as.character(abs(my_number))]

# Extract first character, which would be the first desired digit 
# if my assumption about number formats is correct.
DT[, first_column := substr(my_number, 1, 1)]

# The rest of the substring can go into another column.
DT[, second_column := substr(my_number, 2, nchar(my_number))].

然后，如果您仍然确实需要创建两个列表，您可以执行以下操作。

# Create the first list.
first_list <- DT[, as.list(first_column)]

# Create the second list.
second_list <- DT[, as.list(second_column)]