【发布时间】：2020-09-11 04:39:52
【问题描述】：
我有两个磁盘框架，每个大约有 20GB 的文件。
合并为数据表太大了，因为该过程需要的内存超出了我可用的内存。我尝试使用此代码：output <- rbindlist(list(df1, df2))
问题是我还想运行unique，因为我的数据中可能存在重复。
我可以在两个磁盘框架上使用与rbindlist 相同的代码吗？
【问题讨论】：
标签： r data.table disk.frame
【发布时间】：2020-09-11 04:39:52
【问题描述】：
是的。你就做rbindlist.disk.frame(list(df1, df2))
我也需要在某个时候实现bind_rows！
【讨论】：
-
谢谢！我在两个 30M 行 x 8 列的磁盘框架上运行 rbindlist.disk.frame。它已经运行了大约两个小时，进度指示器没有移动。这正常吗？
-
呃……不正常。 30m 行？并且mm有大柱子。这应该是分分钟。但当然取决于您的列大小
-
很奇怪。机器仍然响应，就像我可以按下停止并立即停止。我想知道机器现在是否正忙。我明天再试一次。
-
它正在工作！奇怪的是，进度条没有出现
-
也许这是一个错误。让我调查一下。我目前正在重新设计整个 NSE 系统，因此很可能会出现错误。它也是 v1 之前的版本，所以感谢您的测试。 :)