【问题标题】:sbt assembly error- out of memorysbt 汇编错误 - 内存不足
【发布时间】:2016-05-23 09:01:49
【问题描述】:

我的最终目标是使用 spark 运行 iPython。我有一台装有 Anaconda、Spark 1.6.0、py4j 0.9 和 jdk 1.8.0_73 的 Mac (El Capitan)。

当我运行sbt assembly 时,我收到内存不足的错误。我尝试设置SBT_OPTS,但没有帮助。

$ echo $SBT_OPTS 
-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:PermSize=256M -XX:MaxPermSize=1024M`

所以我尝试使用 maven 安装。

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

这对我也不起作用。我收到以下错误

[INFO] Spark Project Unsafe ............................... SUCCESS [  9.739 s]
[INFO] Spark Project Core ................................. FAILURE [01:13 min]
.
.
.
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:54 min
[INFO] Finished at: 2016-02-12T01:05:51-08:00
[INFO] Final Memory: 55M/685M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1]

我尝试搜索错误 127,但没有找到任何解决我的问题的方法。我想知道我是否有某种防火墙设置(一直在使用家庭网络)

任何帮助/指针将不胜感激!

【问题讨论】:

    标签: maven sbt sbt-assembly


    【解决方案1】:

    我通过制作 .sbt_config 文件解决了这个问题,其中包含

    SBT_OPTS="-Xmx2G -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=2G -Xss2M"
    

    【讨论】:

      猜你喜欢
      • 2013-05-14
      • 2017-06-09
      • 1970-01-01
      • 1970-01-01
      • 2015-09-20
      • 1970-01-01
      • 2017-05-12
      相关资源
      最近更新 更多