java.lang.OutOfMemoryError：Apache Spark 中的 Java 堆空间

Question

我尝试在 Spark 中做一个算法（快速傅里叶变换，FFT）。

当数据超过64m时（虽然很小），控制台显示信息：

java.lang.OutOfMemoryError: java heap space.

我使用 32 位 Ubuntu 系统和 Spark-1.6.0。我使用的是 Scala IDE，eclipse。

我使用本地模式和独立模式。当数据小于32m时，它可以正常工作，但是当数据大于64m时，它就不行了。

我尝试将 JVM 设置设置为 -Xms1000m 和 -Xmx4000m。在代码中创建SparkConf 时，我还尝试添加.set("spark.exetutor.memory", "8g")。但它们都不起作用。

我该如何解决这个问题？

Answer 1

如果您使用spark.master = local，则要调整的相关值为spark.driver.memory。请注意，此选项需要在本地模式下启动 JVM（即驱动程序）之前设置，因此修改现有的 SparkContext 将无济于事，因为 JVM 已经启动。