无法在 AWS Rstudio 上分配可用内存答案

【问题标题】：Cannot allocate available memory on AWS Rstudio无法在 AWS Rstudio 上分配可用内存
【发布时间】：2018-11-19 08:58:58
【问题描述】：

我正在使用 AWS R Studio 从 S3 读取 35 GB 的 csv 文件并执行分析。我选择了一台具有 62 GB 内存的 m4.4xlarge 机器，但在执行任何分析之前读取数据时，我不断收到以下消息：“错误：无法分配大小为 33.0 Gb 的向量”。我使用的代码是：

library("aws.s3")
Sys.setenv("AWS_ACCESS_KEY_ID" = "xxxxxxx",
       "AWS_SECRET_ACCESS_KEY" = "yyyyyyy")
obj <-get_object("s3://xxx/yyy.csv")

当我使用以下代码时，

aws.s3::s3read_using(read.csv, object=“"s3://xxx/yyyy.csv”)

错误信息变为：

我收到的错误信息如下：

Error in curl::curl_fetch_disk(url, x$path, handle = handle) : 
Failed writing body (4400 != 16360)

我不熟悉 Linux，我使用的是 Louis Aslett 的 AMI (http://www.louisaslett.com/RStudio_AMI/)。有什么我应该改变的设置吗？谢谢！

我怀疑该问题与以下两个问题有关，但尚未发布明确答案。

Reading large JSON files from S3 in RStudio EC2 instance (Louis Aslett's AMI)

Trouble Uploading Large Files to RStudio using Louis Aslett's AMI on EC2

【问题讨论】：

请将您的代码的相关部分添加到您的问题中，以便我们更容易“诊断”。我的第一印象是，由于修改数据，R 代码（您的或使用过的包的代码）在内部使用了过多的 RAM。你到底在用这些数据做什么？如果您不使用data.table 和fread()，则会因内存不足而遇到问题（data.table 的每个小修改都会生成完整副本，并且数据的大小会更大超过一半的 RAM...)
谢谢@RYoda！我已经用我使用的 R 代码更新了这个问题。我的问题从读取 csv 文件开始，没有进行任何分析。
好的，第一步是使用data.table:fread而不是base R的read.csv来读取CSV文件。这更快并且具有更低的内存开销。另一个问题是：curl::curl_fetch_disk 在内部被调用并且不能写入（！）。我不确定 curl 是仅虚拟写入（“管道”）还是物理写入（临时存储），所以：你有足够的存储空间吗？最后一件事：CSV文件的编码是什么？如果您使用的是非标准字符编码，则必须指定 fileEncoding（在 read.csv 中）或 encoding 参数（在 fread 中），否则在 EOF 之前阅读我的内容。
@RYodam fread 有效。执行一些分析后，我在将文件从 rstudio 保存到 S3 时遇到问题。我正在使用aws.s3::s3write_using：它适用于小数据集，但不适用于大数据集（35gb）。运行 write_using 代码一小时后，它还在运行，没有保存数据。关于如何有效地将数据从 rstudio 保存到 S3 以便我下次启动实例时不需要再次运行代码的任何想法？谢谢！
对不起，我没有使用 S3 的经验，也许你打开了一个新问题，因为它与原来的问题不同。请描述 RStudio 在您的客户端/服务器设置中的运行方式/位置，因为网络主要是传输数据的限制因素...

标签： r amazon-web-services amazon-ec2 amazon-ami

【解决方案1】：

我用相同的 AMI 在 R 中克服了一个非常相似的问题。就我而言，问题是尽管 AWS 的默认主目录大小小于 8-10GB，而不管您的实例大小如何。因为这是试图上传到家里，所以没有足够的空间。从使用相同 AMI 读取数据的个人经验来看，这听起来像是相同的问题。

如果您上传到实例上的不同驱动器，则可以解决此问题。由于 Louis Aslett Rstudio AMI 基于此 8-10GB 空间，因此您必须将工作目录设置在此之外，即主目录。从 Rstudio 服务器界面看不直观。

我认为您的问题的解决方案与读取数据的方法无关。问题是主目录小于 10GB，而您正在尝试读取它（如果您是 Windows 用户，我认为这更有可能，因为您不希望 60GB 的机器在默认目录中只有 10GB） .我建议查看其他目录（例如，在 Rstudio 的 RHS 上的 Rstudio 目录选择框或 linux 命令行上的 df 命令中上几级）。然后 setwd() 在另一个目录中（例如 xda 或任何有足够空间的东西）并尝试再次读取。

我可能没有像版主喜欢的那样写这个答案，但我已经克服了类似的问题，这个问题已经一年没有答案了，所以我希望它有所帮助（哦，我没有足够的“点”来写评论，所以它必须是一个答案）

【讨论】：