【问题标题】:Setting Spark driver memory in Zeppelin on Docker (local mode)在 Docker 上的 Zeppelin 中设置 Spark 驱动程序内存(本地模式)
【发布时间】:2019-08-08 00:30:03
【问题描述】:

我检查了很多资源,例如:

但是没有明确的方法来设置驱动内存,我尝试设置变量像:

  • -e SPARK_SUBMIT_OPTIONS="--driver-memory 6G"
  • -e ZEPPELIN_JAVA_OPTS="-Dspark.driver.memory=6g"

没有任何成功。

这是我的完整命令:

docker run -p 8080:8080 \
-p 4040:4040 \
-v $PWD/logs:/logs \
-v $PWD/notebook:/notebook \
-v $PWD/jars:/jars \
-v $PWD/conf/interpreter.json:/zeppelin/conf/interpreter.js \
-v $PWD/data:/data \
-e ZEPPELIN_LOG_DIR='/logs' \
-e ZEPPELIN_NOTEBOOK_DIR='/notebook' \
-e SPARK_SUBMIT_OPTIONS="--driver-memory 6G" \
apache/zeppelin:0.8.1

【问题讨论】:

    标签: docker apache-spark


    【解决方案1】:

    好的,经过一些调查,我不得不在选项中添加-e ZEPPELIN_INTP_MEM="-Xmx6g"

    【讨论】:

      猜你喜欢
      • 2017-11-23
      • 2017-04-25
      • 2019-12-29
      • 2020-02-29
      • 1970-01-01
      • 1970-01-01
      • 2015-08-11
      • 1970-01-01
      相关资源
      最近更新 更多