R：快速访问大 CSV 文件的给定行

Question

我的数据源是 2GB 文件，由 3 列组成：key1、key2、result。 这些文件由超过 1000 万行组成。 我正在尝试在 Windows 系统上尽可能快地从 R 访问第 j 个文件的第 i 行。 Fread-ing 文件不是一个选项，因为它需要超过 2 分钟，这在这个用例中是不可能的。

我已经尝试了几种方法，但到目前为止都失败了：

方法 1： readlines、read.table 或 fread

readlines(file("myFile.csv", "r"),n=1, skip = M)

read.table("myFile.csv", skip=M, nrows=1)

fread("myFile.csv", skip=M, nrows=1)

这些方法的问题在于，当 M 趋于文件末尾时，访问时间很长。如果能找到类似的解决方案，我会非常感兴趣

方法2： fst包

正如评论/答案部分所建议的，由于From / To 参数，fst 包工作正常，但它需要在 FST 格式下复制 CSV，这在阅读时很难维护数千个 CSV 文件。 “基于csv”的解决方案会更好。

方法 3： SQLite DB

library(RSQLite)
library(data.table)
db <- dbConnect(SQLite(), "NEW_DB")
dbWriteTable(db, "chocs", fread("myFile.csv"), append = TRUE, row.names = FALSE)
dbGetQuery(db, "SELECT * FROM chocs WHERE V1 = 1 AND V2 = 1")

这种方法的问题是它创建 SQL DB 而 CSV 已经存在，并且查询不如方法 2 中提出的 FST 库那么快

有什么快速的方法吗？

Answer 1

fst 很好，正如我看到 cmets 中提到的@TimSalabim 一样，但是您必须先将其读取，然后将其写入 fst 文件。如果您需要在不同的会话中多次读取任意单行，那么我会说花 2 分钟将其作为具有fread 的数据表一次读取然后将其写为 fst 文件是合理的。

iris 的例子。

library(fst)
library(data.table)
DT <- data.table(iris)
write_fst(DT, "iris.fst")
x <- read_fst("iris.fst", from = 111, to = 111)
x
#  Sepal.Length Sepal.Width Petal.Length Petal.Width   Species
# 1          6.5         3.2          5.1           2 virginica

# exit your session, come back tomorrow
library(fst)
x <- read_fst("iris.fst", from = 99, to = 99)
#   Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
# 1          5.1         2.5            3         1.1 versicolor

当然，对你来说，你应该从

DT<- fread("myFile.csv")
write_fst(DT, "myFile.fst")
x <- read_fst("myFile.fst", from = 1e7, to = 1e7)

我现在在一台内存有限的极小机器上，所以我不打算创建一个 2GB 的对象并将其保存以进行测试，但是 iris 示例可以工作，并且一旦您花费了创建文件，您的行读取应该快得多。大概您使用的是一台支持 openMP 和 SSD 的不错的机器。

Answer 2

data.table 包中的fread 怎么样？行选择可能如下所示：

dt[.(1,1), on = .(V1, V2)]