如何在R中逐行读取非常大的文件匹配模式

Question

我至少需要在 R 中读取 10 GB 大小的文件。为了限制内存使用，我只想读取那些匹配模式的行。例如，在下面的文本文件mytext.tsv 中，我想从将成为标题的所需行中读取。然后从col2 中读取匹配coding 和synonymous 的行，即patterns。

patterns <- c("coding", "synonymous")

mytext.tsv：

## lines unwanted
## lines unwanted1
## lines unwanted2
## lines unwanted3
wanted  col1       col2    
aaa     variant1   coding
jhjh    variant2   non-coding
ggg     variant3   synonymous
fgg     variant4   coding
gdg     variant6   missense  

我预期的数据框应该是：

wanted  col1       col2    
aaa     variant1   coding
ggg     variant3   synonymous

我知道我可以使用连接和扫描然后循环遍历每个模式，但是在 R 中是否有任何有效的方法可以做到这一点？

我的实际数据示例：

Answer 1

将 data.table 与 cmd 选项和 grep 一起使用（未测试）：

library(data.table)

fread(cmd = "grep 'coding\|synonymous' mytext.tsv",
      col.names = c("wanted", "col1", "col2"))

注意：

• 这将适用于 *nix 系统。在 Windows 上，有一个 findstr 命令。
• Regex 需要更新以适应您的数据。这只是一个示例，在 grep 搜索“编码”等时也会返回“非编码”行。