Spark - UbuntuVM - Java 运行时环境的内存不足答案

【问题标题】：Spark - UbuntuVM - insufficient memory for the Java Runtime EnvironmentSpark - UbuntuVM - Java 运行时环境的内存不足
【发布时间】：2015-10-20 19:45:15
【问题描述】：

我正在尝试在 Ubuntu14.04 VM 上安装 Spark1.5.1。解压缩文件后，我将目录更改为解压缩的文件夹并执行命令“./bin/pyspark”，该命令应该会启动 pyspark shell。但我收到如下错误消息：

[ OpenJDK 64 位服务器虚拟机警告：INFO: os::commit_memory(0x00000000c5550000, 715849728, 0) 失败； error='Cannot allocate memory' (errno=12) 内存不足 Java 运行时环境的内存以继续。

本机内存分配 (malloc) 未能分配 715849728 字节用于提交保留的内存。

包含更多信息的错误报告文件保存为： /home/datascience/spark-1.5.1-bin-hadoop2.6/hs_err_pid2750.log ]

谁能给我一些解决问题的方向？

【问题讨论】：

标签： apache-spark ubuntu-14.04 openjdk

【解决方案1】：

和上面说的差不多。它需要 7GB 的 RAM。所以给虚拟机大约 8GB 的 RAM。

【讨论】：

我尝试在虚拟机设置中更改基本内存，但无法做到。你能告诉我如何改变吗？
@Reactormonk 我认为你的下降了一个数量级:)
@Preetham 停止虚拟机，更改内存分配，重新开始？如果你不能分配更多，你总是可以使用交换。
@zero323 呃-哦。好的，所以只有 600MB。我仍然认为虚拟机没有足够的内存。

【解决方案2】：

我们需要将conf/spark-defaults.conf 文件中的spark.executor.memory 设置为特定于您机器的值。例如，

usr1@host:~/spark-1.6.1$ cp conf/spark-defaults.conf.template conf/spark-defaults.conf
nano conf/spark-defaults.conf
spark.driver.memory              512m

更多信息请参考官方文档：http://spark.apache.org/docs/latest/configuration.html

【讨论】：