Spark：线程“dag-scheduler-event-loop”中的异常 java.lang.OutOfMemoryError：Java 堆空间答案

【问题标题】：Spark: Exception in thread "dag-scheduler-event-loop" java.lang.OutOfMemoryError: Java heap spaceSpark：线程“dag-scheduler-event-loop”中的异常 java.lang.OutOfMemoryError：Java 堆空间
【发布时间】：2016-07-29 05:18:07
【问题描述】：

使用 spark-1.6.0-bin-hadoop2.6 根据http://spark.apache.org/docs/latest/configuration.html

我可以使用 spark.executor.memory 设置堆大小，即来自 spark-submit 的 --executor-memory

运行我的作业时，执行程序内存未超过分配的内存，但我收到错误：

java.lang.OutOfMemoryError: Java 堆空间

我正在提交我的工作：

./bin/spark-submit \
  --class edu.gatech.cse8803.main.Main \
  --master spark://ec2-52-23-155-99.compute-1.amazonaws.com:6066 \
  --deploy-mode cluster \
  --executor-memory 27G \
  --total-executor-cores 100 \
  /root/final_project/phenotyping_w_anchors_161-assembly-1.0.jar \
  1000

我正在使用 2 个 m4.2xlarge 实例（32.0 GB，8 核）

【问题讨论】：

标签： amazon-web-services amazon-ec2 apache-spark

【解决方案1】：

问题是没有足够的内存分配给驱动程序。默认情况下，它被分配了 1024.0 MB

我通过添加指定了 3GB（可能太多）

--驱动内存3g

例子

./bin/spark-submit \
    --class edu.gatech.cse8803.main.Main \
    --master spark://ec2-52-23-155-99.compute-1.amazonaws.com:6066   \
    --deploy-mode cluster   \
    --executor-memory 27G   \
    --driver-memory 3g \
    /root/final_project/phenotyping_w_anchors_161-assembly-1.0.jar   \
    1000

【讨论】：