【问题标题】:numpy.memmap (Python) equivalent in R?R中的numpy.memmap(Python)等价物?
【发布时间】:2015-07-09 20:41:16
【问题描述】:

我正在处理一个大型二进制数据文件 (>10GB),使用 readBin 读取大约需要 10 分钟,但后来我试图将其强制转换为矩阵,可能是因为我的机器内存不足。当我使用 python 时,我会在这种情况下使用 numpy.mmemap 来减少内存占用; R有什么等价物吗?

【问题讨论】:

  • 也许是 ff 包?以task views 为起点总是一个好主意。
  • 你能提供更多细节吗?你的数据是什么样的?在任何情况下,您都可以读取每一列,然后将它们放在一起 var = readBin(yourdata, character(), n=3)

标签: python r memory


【解决方案1】:

也许这可以帮助你:

library(ff)
library(biglm)
data <- ffm("binarydata")

你也可以只选择其中的一部分,这样可以节省你的记忆:

data <- ffm("binarydata", c("col1", "clo2", "col3"))

【讨论】:

    猜你喜欢
    • 2020-09-14
    • 2018-07-18
    • 2016-06-14
    • 2016-05-23
    • 2022-10-13
    • 1970-01-01
    • 2020-04-17
    • 2020-10-14
    • 2017-11-27
    相关资源
    最近更新 更多