spark-submit客户端模式下如何设置driver-memory和driver.memoryOverhead

Question

我正在使用 CDH 版本 CDH 5.13.3、spark-2.3.0。参考文档https://spark.apache.org/docs/2.3.0/configuration.html，我设置了驱动内存和驱动内存开销，但是不行

spark2-submit \
--class my.Main \
--master yarn \
--deploy-mode client \
--driver-java-options "-Ddriver-memory=5g" \
--conf spark.driver.memoryOverhead=3g \
--num-executors 33 \
--executor-cores 4 \
--executor-memory 8g \
--conf spark.executor.memoryOverhead=4g \

我希望 spark 作业在开始时获得 8g（驱动程序内存 5g + memoryOverhead 3g），但在 yarn ui 上它只有 2g

Answer 1

您需要传递与执行程序内存相同的驱动程序内存，因此在您的情况下：

spark2-submit \
--class my.Main \
--master yarn \
--deploy-mode client \
--driver-memory=5g \
--conf spark.driver.memoryOverhead=3g \
--num-executors 33 \
--executor-cores 4 \
--executor-memory 8g \
--conf spark.executor.memoryOverhead=4g \

此外，您在此处传递的值并不能保证并且取决于实际的集群配置。还要求更多内存意味着您的工作将等到您获得具有指定配置的执行程序。