如何对内存太大的 RData 文件进行子集化？

Question

我有一个 RData 文件太大而无法使用 load() 命令加载到我的计算机上。它包含一个包含约 300 万个观测值和约 100 个变量的数据框。

我想要

• 加载文件，可能使用一些 bigdata 或 ff 包（但我不知道这些是如何工作的）
• 去掉一些变量以减小文件大小
• 将其保存为带有常规数据框的 Rdata 文件（不是一些奇怪的“大数据”类型对象）
• 使用 load() 加载压缩文件并恢复常规 R 操作

我该怎么办？

Answer 1

上周 Jared Lander（“R for Everyone”一书的作者）帮助在 bigboards.io hex 上创建 R 色调。我们在其上安装了 RStudio Server，并使用了 hex 的全部存储/处理能力。 Ceph 用于在节点上分发数据

不管怎样，这感觉就像是你的问题的解决方案。