在 IntelliJ Scala 控制台中运行时如何设置 Spark MemoryStore 大小？答案

【问题标题】：How to set Spark MemoryStore size when running in IntelliJ Scala Console?在 IntelliJ Scala 控制台中运行时如何设置 Spark MemoryStore 大小？
【发布时间】：2017-03-29 19:12:33
【问题描述】：

我在 Linux 64 (Fedora 25) 上的 Intellij (CE 2017.1) Scala 控制台中将 Spark 代码作为脚本运行。我在开始时设置了 SparkContext：

import org.apache.spark.{SparkConf, SparkContext}
val conf = new SparkConf().
  setAppName("RandomForest").
  setMaster("local[*]").
  set("spark.local.dir", "/spark-tmp").
  set("spark.driver.memory", "4g").
  set("spark.executor.memory", "4g")

val sc = new SparkContext(conf)

但运行的 SparkContext 总是以同一行开头：

17/03/27 20:12:21 INFO SparkContext：运行 Spark 2.1.0 版

17/03/27 20:12:21 INFO MemoryStore：MemoryStore 开始时容量为 871.6 MB

17/03/27 20:12:21 INFO BlockManagerMasterEndpoint：使用 871.8 MB RAM，BlockManagerId（驱动程序，192.168.1.65，38119，无）注册块管理器 192.168.1.65:38119

Spark Web UI 中的 Executors 选项卡显示相同的数量。在启动之前从终端导出_JAVA_OPTIONS="-Xms2g -Xmx4g" 在这里也没有效果。

【问题讨论】：

标签： scala apache-spark intellij-idea fedora-25

【解决方案1】：

增加 Spark MemoryStore 并最终增加 Web UI 的 Storage memory Executors 选项卡的唯一方法是在启动前直接在 Intellij Scala 控制台设置中的 VM 选项中添加 -Xms2g -Xmx4g。

现在信息行打印：

17/03/27 20:12:21 INFO MemoryStore：MemoryStore 以容量 2004.6 MB 开始

17/03/27 20:12:21 INFO BlockManagerMasterEndpoint：使用 2004.6 MB RAM，BlockManagerId（驱动程序，192.168.1.65，41997，无）注册块管理器 192.168.1.65:41997

Spark web UI Executors 选项卡的存储内存显示为 2.1 GB。

【讨论】：