在 R 中返回 data.table 或 data.frame 时避免重复内存分配的技巧？

Question

我创建了一个函数，调用它来读取然后返回一个data.table：

read.in.data <- function(filename)
{
    library(data.table)
    data.holder<-read.table(filename, skip=1)
    return(data.table(data.holder))
}

通过观察我的 RAM 作为函数进程，我注意到 R 似乎分两步处理它（或者至少这是我对正在发生的事情的最佳猜测）。例如，当我加载一个 1.5 GB 的文件（15 列，每行总共 136 个字符）时，R 似乎 1）读取数据并使用 1.5 GB 的 RAM，然后 2）使用另一个 1.5 GB 的 RAM回报。

是否有一些技巧可以创建一个函数来创建 data.table（或 data.frame）并返回 data.table 而无需在内存中复制？还是必须在创建表的函数中对 data.table 进行所有处理？

观察： 如果我连续两次运行此代码，则不会清除内存；由于我只有 8 GB 的 RAM，因此该功能失败。如果我跳过将“read.table”存储在变量中的步骤（如下所示），我不会得到任何好处。我不想以任何方式这样做，因为我希望能够在返回之前清理 data.table 。解决我的问题还可以让我在不耗尽内存的情况下处理更大的文件。

short.read.trk <- function(fntrk)
{
    library(data.table)
    return(data.table(read.table(fntrk, skip=1)))
}

Answer 1

如果您主要追求的是节省内存，您可以一次将其转换为一列：

library(data.table)
read.in.data <- function(filename)
{
  data.holder <- read.table(filename, skip=1)
  dt <- data.table(data.holder[[1]])
  names(dt) <- names(data.holder)[1]
  data.holder[[1]] <- NULL

  for(n in names(data.holder)) {
    dt[, `:=`(n, data.holder[[n]]) ]
    data.holder[[n]] <- NULL
  }
  return(dt)
}

（未经测试）

它不会更快，实际上它可能更慢。但是应该不会浪费内存。