【问题标题】:Handling large objects in R在 R 中处理大对象
【发布时间】:2014-11-19 23:41:03
【问题描述】:

我正在尝试使用 R 使用 CIFAR 图像数据集进行对象识别项目,但是在处理数据集时存在一个问题,当我将数据读入某个数据框或矩阵时,对象的对象大小大约 98MB 变大,这导致我的程序运行非常缓慢,我的代码被矢量化,但我仍然面临性能问题。请有人建议我如何解决这个问题。

谢谢。

【问题讨论】:

  • 98MB 不算大。您还使用了哪些其他包/功能?
  • 我没有使用任何包,只是常规的数据框和矩阵
  • 如果您提供更多细节会有所帮助。如果您只是在读取数据,请查看 data.table 包中的fread()。如果你在做神经网络或类似的东西,情况就不同了。
  • 所以提供的数据在 mat 文件中,但我不想使用 Matlab 来构建我的模型,所以我使用 R.matlab 包从 mat 文件中读取数据。我将使用神经网络进行建模,请你建议我应该怎么做。

标签: r matrix dataframe


【解决方案1】:

看起来这些数据的二进制形式非常适合平面文件类型格式,就像 bigmemory、ff 或 rhdf5 包处理的那样。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-10-06
    • 2010-11-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-11-19
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多