构建火花时出现内存不足错误错误答案

【问题标题】：Out of memory error Error while building spark构建火花时出现内存不足错误错误
【发布时间】：2016-10-20 00:10:42
【问题描述】：

我正在使用 sbt 构建 spark。当我运行以下命令时：

sbt/sbt assembly

建立火花需要一些时间。出现了几个警告，最后我收到以下错误：

[error] java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Java heap space
[error] Use 'last' for the full log.

当我使用命令 sbt sbtVersion 检查 sbt 版本时，我得到以下结果：

[warn] Multiple resolvers having different access mechanism configured with same name 'sbt-plugin-releases'. To avoid conflict, Remove duplicate project resolvers (`resolvers`) or rename publishing resolver (`publishTo`).
[warn] There may be incompatibilities among your library dependencies.
[warn] Here are some of the libraries that were evicted:
[warn]  * com.typesafe.sbt:sbt-git:0.6.1 -> 0.6.2
[warn]  * com.typesafe.sbt:sbt-site:0.7.0 -> 0.7.1
.......
[info] streaming-zeromq/*:sbtVersion
[info]  0.13.7
[info] repl/*:sbtVersion
[info]  0.13.7
[info] spark/*:sbtVersion
[info]  0.13.7

当我发出命令时，./bin/spark-shell，我得到以下输出：

ls: cannot access '/home/neel_shah/spark/spark-1.6.1/assembly/target/scala-2.10': No such file or directory
Failed to find Spark assembly in /home/neel_shah/spark/spark-1.6.1/assembly/target/scala-2.10.
You need to build Spark before running this program.

解决办法是什么？

【问题讨论】：

标签： scala apache-spark sbt

【解决方案1】：

您必须配置 SBT 堆大小：

在 linux 上输入 export SBT_OPTS="-Xmx2G" 将其设置为临时
在Linux上你可以编辑~/.bash_profile并添加行export SBT_OPTS="-Xmx2G"
在 Windows 上键入 set JAVA_OPTS=-Xmx2G 将其设置为临时
在windows上你可以编辑sbt\conf\sbtconfig.txt并设置-Xmx2G

How to set heap size for sbt?

【讨论】：

当我这样做（在 Windows 中）时，我得到：忽略选项 MaxPermSize=256m; 8.0 中删除了支持。不知道现在该怎么办？
PermSize 是不同的内存区域。您可以忽略此消息，它只是一个警告。

【解决方案2】：

这可能不是一个常见的解决方案，但就我而言，在使用 sbt 构建 spark 项目时，我必须运行此命令来解决 OutOfMemoryError（路径特定于 mac OS）：

rm -rf /Users/markus.braasch/Library/Caches/Coursier/v1/https/

为 SBT_OPTS 中的各种参数增加内存设置并没有解决它。

【讨论】：